Były to zabytkowe budynki i spichlerze na terenie Wyspy Młyńskiej.
W okresie powojennym rozwijano głównie grupy zbiorów związane ze sztuką współczesną, zbiory Leona Wyczółkowskiego, zabytki historyczne związane z przeszłością miasta oraz rzemiosła artystycznego i cechowego, zbiory numizmatyczne wraz z medalierstwem oraz zbiory archeologiczne. W muzeum powstała licząca się w skali kraju kolekcja współczesnej sztuki polskiej.
Po 1990 r. muzeum przeszło pod kuratelę miejskich władz samorządowych. Od 1993 r. w Białym Spichrzu na Wyspie Młyńskiej prezentowano stałą ekspozycję rzemiosła, zaś w spichrzach nad Brdą – wystawy pamiątek związanych z historią Bydgoszczy. W latach 1993–2006 dokonano kapitalnego remontu spichrzy przy ul. Grodzkiej, natomiast obiekty na Wyspie Młyńskiej zostały generalnie odnowione w ramach programu Renowacja obiektów dziedzictwa kulturowego na Wyspie Młyńskiej w latach 2006–2008https://web.archive.org/web/20071111024416/http://www.bydgoszcz.pl/binary/Renowacja%20obiekt%C3%B3w%20dziedzictwa%20kulturowego%20na%20terenie%20Wyspy%20M%C5%82y%C5%84skiej%20w%20Bydgoszczy_tcm29-22353.pdf dostęp 2009-12-18..