Wkrótce potem doszło do rozdźwięku pomiędzy architektem a Helene Kröller-Müller, która w 1919 wynajęła do zaprojektowania budynku architekta Henry'ego van de Velde. Miał on już na swym koncie zrealizowany w Hadze budynek dla kolekcjonera i mecenasa sztuki Karla Ernsta Osthausa oraz nadzorował budowy wielu muzeów. Projekt van de Velde spotkał się z przychylnością Kröller-Müllerów. Budowa, której kosztorys opiewał na 6 mln guldenów, ruszyła w 1921. Na przeszkodzie w ukończeniu obu budowli stanął kryzys ekonomiczny przełomu lat 20. i 30. XX w. Jachthuis Sint-Hubertus i cały teren Hoge Veluwe zostały w 1935 przekazane na rzecz fundacji, a zbiory sztuki – państwu holenderskiemu. Darowizna była obwarowana warunkiem, iż na terenie Hoge Veluwe pod kierunkiem van de Veldego ma powstać w przeciągu pięciu lat budynek, który pomieści zbiory sztuki. W latach 1937–1938 zbudowano tzw. muzeum przejściowe, jako rządowy ośrodek prac interwencyjnych. Budynek ten stanowi do dziś jądro muzeum. Jego rozbudowa według planów holenderskiego architekta Wima Quista nastąpiła w latach 1972–1977. W nowym budynku znalazły miejsce wystawy czasowe oraz kawiarnia muzealna.