Śmierć Karol Robert Nestler zmarł 15 stycznia 1905 roku w wieku 88 lat. Pochowany został na Starym Cmentarzu w Łodzi przy ul. Ogrodowej w części ewangelicko-augsburskiej.
Spuścizna i upadek przedsiębiorstwa thumb|220px|Notatka prasowa o śmierci Karola Roberta NestleraPrzedsiębiorstwo budowlane w spadku po nestorze otrzymali jego synowie, Karol Gustaw i Robert Karol. W latach 1923–1937 przy ul. Karolewskiej 41 nadal działało „Przedsiębiorstwo budowlane Nestler & Ferrenbach – właściciel Robert Nestler i S-ka”, a od 1938 kierowali nim wnukowie: Karol Heinz Nestler i Hans Robert Nestler, a Karol Gustaw Nestler był prokurentem. Wykonywali różne prace budowlane i ciesielskie, zatrudniali 150 robotników i 5 techników. Zakład rozpościerał się na terenie 1,38 ha.
Historia rodziny i przedsiębiorstwa zakończyła się wraz z II wojną światową, podczas której zginął wnuk nestora, Hans Robert Nestler. Pozostała rodzina, w przeciwieństwie do innych łodzian pochodzenia niemieckiego, z racji przywiązania do miasta i lokalnej społeczności, pozostała w Łodzi, co stało się początkiem tragicznych wydarzeń.