Biskup Hołowczyc zmarł w 1823 r. Po jego śmierci kamienica wielokrotnie zmieniała właścicieli, należała do wielu rodzin arystokratycznych (Pusłowscy w połowie XIX wieku, później Krasińscy w latach 70., wreszcie na przełomie XIX i XX wieku Stanisław hr. Łubieński), aż w początku XX wieku kupił ją Marian Malinowski.
W czasie XIX wieku budynek tracił pałacowy charakter i powoli zmieniał się w kamienicę czynszową ze sklepami na parterze i manufakturami w oficynach. Jedną z takich fabryczek była wytwórnia wód mineralnych Tarłowskiego i Jeżewskiego działająca w tym budynku na przełomie lat 60. i 70. XIX w. Na początku XX w. lokal na parterze u zbiegu z ul. Chmielną zajmował główny skład Krajowej Fabryki Tytoniowej „Union” Kołodziejskiego i Filipkowskiego.
Kamienica Malinowskiego W 1912 roku kamienicę kupił Marian Malinowski (właściciel dużej apteki przy Nowym Świecie 35) i w ciągu kilku miesięcy ją rozebrał, budując na jej miejscu w latach 1913–1914 dom dochodowy z apteką na parterze.