Pomimo że rodzina Starzyńskich była kolatorem kościoła w Zamiechowie, biskup Franciszek Mackiewicz nakazał usunięcie ze świątyni pomnika, jaki dla ojca ufundował Stanisław Starzyński. To doprowadziło do konfliktu z biskupem, który stał się jedną z przyczyn dla których Starzyński zmienił wyznanie na protestanckie. Następnie mieszkał we Lwowie, a ostatecznie zamieszkał w Kulparkowie. Była to majętność jaką otrzymał od matki. W 1848 spokój zakłócili mu w Kulparkowie żołnierze armii carskiej maszerujący na Węgry celem stłumienia tzw. Wiosny Ludów.
Stanisław Starzyński był jednym z redaktorów Tygodnika Wileńskiego. Używał pseudonimu literackiego Stach z Zamiechowa. Pisał elegie, erotyki, wiersze patriotyczne i okolicznościowe oraz piosenki do muzyki Wojciecha Sowińskiego – „Krakowiak”, „Kowal”, „Maj”, „Banialuka”. Jego twórczość poetycka pozostała jednak w większości w rękopisach; w 1830 wydał „Śpiewki i wiersze Podolanina”.
Po jego śmierci gmina protestancka, której w darowiźnie przekazał dobra Kulparków, na wzniesionej w 1898 kaplicy umieściła poświęconu mu napis Gmina Ewangielicka we Lwowie STANISŁAWOWI HR.