Od końca XV wieku w posiadaniu burmistrzowskiej rodziny Kazubów, przez których w początkach XVI w. kamienica została pierwszy raz gruntownie przebudowana, prawdopodobnie w kilku etapach (umieszczona niegdyś nad wejściem data 1535 mogła oznaczać zakończenie prac). Z tego okresu pochodzą ustawiona we wnęce figura św. Anny Samotrzeciej (z Matką Boską i Dzieciątkiem), dwa portale (obecnie w sieni) oraz późnogotycka blenda nad oknem w fasadzie.
Kamienica w latach 1556-1630 należała do Szałapskich (Sczalapskich), m.in. Adama, złotnika i Jana, pisarza kancelarii królewskiej, po 1581 zapewne remontowana.
W latach 1635–1637 kamienica przeszła drugą przebudowę, nadającą jej styl renesansowy. Przeprowadzona przez ówczesnego właściciela Henryka Plumhoffa (od którego pochodzi jedna z nazw kamienicy, Plumhoffowska), kupca, burmistrza;