W roku 1905 budynek kupił inwestor Władysław Taubenhaus. Postanowił budynek rozebrać. W wyniku protestów ówczesnej prasy, chwilowo zrezygnował z tych planów, odsprzedając niewielki fragment gruntu miastu na rzecz poszerzenia ulicy Oboźnej. Zburzono wówczas narożnik rezydencji, skracając ją o jedną oś. W 1910 roku Taubenhaus ponownie podjął próbę rozbiórki budynku i urządzenia w jego miejscu targowiska, na co jednak miasto nie wyraziło zgody. W końcu odsprzedał zabytek Naftulii Lote i Bronisławowi Goldfederowi – współwłaścicielowi kolejki radzymińskiej. Goldfeder kazał zburzyć oficynę pałacu i rozparcelował teren na jego tyłach, gdzie w 1912 roku stanął Teatr Polski. Sam pałac odsprzedał Towarzystwu Akcyjnemu Wyrobu i Sprzedaży Maszyn i Narzędzi Rolniczych „Trylski & Kowalski”. Nowy właściciel uzyskał zgodę na rozbiórkę zabytku, co czym prędzej zrealizował, planując budowę w tym miejscu wysokiej kamienicy czynszowej („domu dochodowego”). Nowa kamienica miała być ukończona w 1915 roku. W 1914 roku w warszawskiej prasie pojawiły się ogłoszenia oferujące do wynajęcia komfortowe powierzchnie biurowe. Wybuch I wojny światowej pokrzyżował te plany. Fundamenty kamienicy widoczne były do II wojny światowej. W 1946 roku Dekretem Bieruta odebrano działkę jej właścicielom, którzy nie odwołali się od tej decyzji we właściwym czasie.