Był dwukrotnie żonaty. Jego pierwszą żoną była Urszula Romocka (1827–1853), córka Stanisława Romockiego, kapitana byłych wojsk polskich. Gustaw zaślubił ją w 1844 roku. Mieli trójkę dzieci: Józefa (1845–1906) oraz Stanisława i Marię, którzy nie dożyli nastoletniości. Drugi związek małżeński zawarł z Anielą Romocką (zm. 1870), wdową po Stanisławie Popławskim i córką Hieronima Romockiego, właściciela dóbr Obrowo w powiecie lipnowskim. Mieli 11 dzieci: Karola, Władysława (zm. 1929), Konstantego, Ludwika, Jana, Zofię (zamężna z A. Nałęczem), Kazimierę oraz zmarłych w wieku dziecięcym Ignacego, Adolfa, Stanisława i Stefana. Wnukiem Gustawa był Walenty Zieliński (1877–1947).
Przodkowie
Twórczość W 1839 debiutował fragmentem poematu napisanego w Tobolsku pt. Samobójca, wydrukowanym w „Tygodniku Literackim”.
Twórczość Zielińskiego zalicza się do drugiego pokolenia romantyków polskich. Najbardziej znanymi utworami są: Samobójca – poemat (wyd. w 1836 r.), Kirgiz. Powieść – powieść poetycka (wyd. w 1842 r.), Stepy – poemat (wyd. w 1856 r.), Czarnoksiężnik Twardowski – dramat (wyd. w 1856 r.) Manuela – romans (wyd. pośmiertnie w 1910 r.)