Kamienica początkowo stanowiła własność królewską lub miejską. Przed początkiem XVI w. przeszła w ręce prywatne. W XVI w. kamienica należała do rodziny Beerów, dzierżawców olkuskich kopalni srebra. Jeden z jej przedstawicieli, Kasper Beer, miał prawo bicia monety (stąd alternatywna nazwa: "Stara Mennica").
W latach 30. XVII w. kamienica należała do wojewody sandomierskiego Krzysztofa Ossolińskiego, który polecił przebudować budynek w stylu wczesnego baroku. Po 1659 roku trafiła w ręce Branickich. W 1733 roku hetman Jan Klemens Branicki zlecił przebudowę wg projektu Jana Zygmunta Deybla (realizacja Gotfried Schulz) oraz ponownie w 1756 wg projektu Jan Henryka Klemma. Przebudowa ta miała miejsce w czasach własności hetmana Jana Klemensa Branickiego. Od niego wywodzi się używana do dziś nazwa gmachu. Z czasów tych przebudów pochodziła - odtworzona po 1975 roku, attyka z herbowym Gryfem. Po 1816 roku jako zrujnowana została kupiona przez Teodora Anzelma Dzwonkowskiego - wówczas został przeprowadzony gruntowny remont kamienicy oraz przekształcono jej fasadę. W 1850 kamienica spłonęła w wielkim pożarze miasta – podczas odbudowy została zburzona attyka, a kamienicę nadbudowano o jedno piętro według projektu Feliksa Radwańskiego. W czasie zaborów kamienica kilkakrotnie pełniła funkcję koszar wojsk austriackich.