Od 1641 ponownie popadał w ruinę po śmierci Johana van Zuylena van de Haara, który nie pozostawił żadnych potomków. Podczas III wojny angielsko-holenderskiej w 1672 został znacznie zniszczony przez wojska francuskieC. B. van der Tak w: Bouwkundige bijdragen, Band 8, Maatschappij tot bevordering der bouwkunst. I. van Bakkenes & Co., Amsterdam 1862, S. 379–387, język niderlandzki, http://books.google.de/books?id=HfY9AAAAcAAJ&dq=kasteel%20de%20haar&hl=de&pg=RA1-PA385#v=onepage&q=kasteel%20de%20haar&f=true,..
Budynki Zamek, zbudowany na planie nieregularnego pięciokąta, ma łącznie pięć wież: dwie na planie prostokąta i trzy na planie koła. Pierwotnie otwarty wewnętrzny dziedziniec zamku został zadaszony podczas odbudowy. Głównym materiałem budowlanym była cegła.
Zamek jest całkowicie otoczony fosą. Kościół kompleksu znajduje się naprzeciwko zamku. Kościół w XIX w. także był zdewastowany i częściowo pozbawiony dachu.
Odbudowa Podczas odbudowy architekt Pierre Cuypers zadbał o to, aby stare i nowe mury można było odróżnić, używając innego rodzaju cegły do budowy nowych ścian. Zamek ma 200 sypialni i 30 łazienek.