Przyjaźnił się z wieloma wybitnymi postaciami epoki: Józefem Wybickim, Henrykiem Dąbrowskim, i Janem Śniadeckim.
Z Józefą z Morawskich Gorzeńską miał trzy córki (Teklę Krzycką, Praksedę Łakińską, Otylię Grabską Czapską) i pięciu synów, w tym porucznika armii napoleońskiej Stanisława Gorzeńskiego (zginął 11 sierpnia 1809 roku w bitwie pod Almonacid) i Hieronima Gorzeńskiego, spadkobiercę pałacu śmiełowskiego. Oraz Teofila. Młodsi synowie, Wit i Prot Gorzeńscy, studiowali w Wilnie pod opieką Jana Śniadeckiego. Poznali tam młodego studenta Uniwersytetu Wileńskiego – Adama Mickiewicza. Andrzej Gorzeński był także ojcem chrzestnym późniejszego generała w Powstaniu Listopadowym – Ignacego Prądzyńskiego.
Zmarł 6 lutego 1821 roku w pałacu śmiełowskim. Jego syn, Hieronim Gorzeński, zlecił budowę rodowej kaplicy grobowej w sąsiednim LgowieTablica informacyjna przy kościele we Lgowie. – tam też spoczęło ciało Andrzeja Gorzeńskiego, ubrane w tradycyjny kontusz szlachecki. W XX wieku szczątki rodziny Gorzeńskich przeniesiono z kaplicy grobowej na cmentarz we Lgowie, gdzie spoczywają do dziś.