Rodzina i wczesne życie mały|lewo|Peter Stuyvesant, ok. 1660 Hamilton Stuyvesant Fish urodził się w Garrison w stanie Nowy Jork. Jego rodzicami byli republikański polityk Hamilton Fish II i Emily Mann. Jego dziadek ze strony ojca, Hamilton Fish, był sekretarzem stanu Stanów Zjednoczonych za czasów republikańskiego prezydenta Ulyssesa S. Granta. Ojciec pierwszego Hamiltona Fisha, Nicholas Fish (ur. 1758), był oficerem Armii Kontynentalnej, a później został mianowany generałem adiutantem Nowego Jorku przez gubernatora George’a Clintona.
Żoną Nicholasa Fisha była Elizabeth Stuyvesant, potomka Petera Stuyvesanta, holenderskiego gubernatora Nowego Jorku. Poprzez swoją matkę, Emily Mann, Hamilton Fish III był także potomkiem Thomasa Hookera, który osiedlił się w Hartford w stanie Connecticut w 1636. Wujek Fisha, Elias Mann, był sędzią i przez trzy kadencje burmistrzem Troy w stanie Nowy Jork.
Prababcia Fisha, Susan Livingston, wyszła za mąż za Juliana Ursyna Niemcewicza w 1800 roku po śmierci męża, Johna Keana (który był delegatem Kongresu Kontynentalnego z Karoliny Południowej). Niemcewicz był współautorem Konstytucji 3 maja.