W 1850 roku zmarła mu córka. W tym samym roku podczas wizyty w Mobile w Alabamie umarła jego żona, zaś dwa lata później spłonął rodzinny dom w Wirginii. W marcu 1853 roku ożenił się ponownie, z Cornelią Taliaferro Jamison, która towarzyszyła mu w dalszej służbie na zachodzie kraju. Para miała syna, który jednak zmarł w 1854 roku. Rok później w Forcie Riley w Kansas w trakcie epidemii cholery zmarła Cornelia.
Podczas służby w wojsku otrzymał przydomek „Lo” (skrócona wersja włoskiego imienia przypisywanego uwodzicielom), ponieważ lubił romansować z kobietami i lubił ich towarzystwo.
Wojna secesyjna Kiedy służył w placówce San Diego Barracks, na południu Kalifornii, Karolina Południowa ogłosiła secesję z Unii. Swoją przyszłość w armii uzależnił od tego, jaka będzie decyzja Wirginii. Kiedy i ten stan odłączył się z Unii, 25 maja zadecydował o rezygnacji ze służby w US Army i wyjeździe na wschód Stanów Zjednoczonych. Wydarzenia te wpłynęły na jego przyjaźń z Winfieldem S. Hancockiem, wówczas kapitanem, który opowiedział się po stronie Unii. Na wspólnym przyjęciu przed odjazdem doszło do emocjonalnego pożegnania obu wojskowych, podczas którego Armistead podsumował swoją decyzję słowami: „Żegnaj Hancocku, nawet nie wiesz ile mnie kosztowała ta decyzja”.