Dzieje Gemäldegalerie powstało w XIX wieku. Mieściło się w Muzeum Królewskim położonym przy Lustgarten przy berlińskiej Unter den Linden. Rdzeniem zbiorów były kolekcje Fryderyka Wilhelma I, zwanego Wielkim Elektorem, oraz Fryderyka II Wielkiego. Spośród dzieł oprócz nabytków znalazły się obrazy pochodzące z królewskich zbiorów polskich Wazów, Jana III Sobieskiego oraz Stanisława Augusta Poniatowskiego, które w Berlinie znalazły się w wyniku grabieży i konfiskat, szczególnie w dobie rozbiorów Polski.

Pierwszym dyrektorem muzeum został , który dokonał nowoczesnej ekspozycji zbiorów. Znaczącą dla muzeum i jego prestiżu była działalność , dyrektora muzeum w latach 1890–1929. Za jego dyrektury w 1904 Galeria wzbogaciła się o kolekcję sztuki renesansowej. W tymże czasie zbiory przeniesiono do Kaiser-Friedrich-Museum, znanego później jako Muzeum Bodego (niem. Bode-Museum), znajdowały się one tam do II wojny światowej;