Zimmer kilkakrotnie rozbudowywał dwukondygnacyjny budynek. W 1807 roku dobudował alkowę na piętrze, a dwa lata później 2 pokoje na poddaszu. Zamieszkali w nich studenci, którzy przyjaźnili się z poetą. W 1820 roku wieżą podwyższono i nad mieszkaniem Hölderlina powstał jeszcze jeden pokój.
W 1838 roku Zimmer zmarł, a opiekę nad poetą przejęła jego córka Charlotta. Hölderlin zmarł 7 czerwca 1843 roku.
Po śmierci poety Budynek należał do rodziny Zimmerów do 1865 roku, gdy córka stolarza sprzedała go Sindlingerowi, a ten w 1874 roku odsprzedał szewcowi Carlowi Friedrichowi Eberhardtowi, który ponownie go rozbudował i założył w nim zakład kąpielowy. 14 grudnia 1875 roku budynek spłonął. Ocalała tylko część pomieszczeń na parterze. Wkrótce na fundamentach wzniesiono nową, tym razem okrągłą wieżę ze spiczastym dachem i przylegający do niej większy dom. Na planach budowy pojawiła się nazwa „Wieża Hölderlina”, a budynek zaczęli odwiedzać wielbiciele poety.