Kamień węgielny pod budowę nowej części gmachu złożono w listopadzie 1992. Budynek został ukończony w 1998, pierwsi zwiedzający mogli go obejrzeć w styczniu 1999, natomiast oficjalne otwarcie miało miejsce 9 września 2001. Prawo do istnienia jako niezależna instytucja Żydowskie Muzeum w Berlinie otrzymało w 1999.
Architektura Kollegienhaus thumb|150px|Kollegienhaus Ta część muzeum została zaprojektowana przez Philippa Gerlacha i zbudowana w 1735 roku; początkowo służyła jako budynek sądowy. Po zniszczeniach w czasie II wojny światowej gmach został przebudowany przez Güntera Hönow (lata 1963–1969) i przeznaczony na przechowywanie zbiorów historycznych Berlińskiego Muzeum. W 1993 roku Daniel Libeskind rozpoczął kolejną przebudowę, m.in. w 2007 roku dodał szklany dach do dziedzińca.
Obecnie budynek służy jako wejście do Muzeum Żydowskiego w Berlinie; mieści się tam również kasa, szatnia, sklep i restauracja. W gmachu Kollegienhaus odbywają się też wystawy czasowe. Znajdujące się w nim czarne schody prowadzą do nowej części muzeum, zaprojektowanej przez Libeskinda.