W 1880 roku, po ślubie, Michael i Anna Ancherowie zamieszkali w budynku. Wschodnią część Domku Ogrodowego używali jako pracownię, do której naturalne światło docierało przez duże, nowe okno umieszczone w dachu. W tym budynku w 1883 roku urodziła się ich córka. Po roku rodzina przeniosła się do nowego domu przy ul. Markvej, znanego obecnie jako Michael and Anna Ancher House, ale Michael Ancher nadal używał Domku Ogrodowego jako pracowni. Później służył jako letnia rezydencja artystów.
Po tym jak rodzina Brøndum w 1919 roku przekazała Domek Ogrodowy Muzeum w Skagen, organizowano w nim różne wystawy i urządzono pomieszczenia pamięci poświęcone P.S Krøerowi i Holgerowi Drachmanowi. W latach 1989–1997 domek służył jako budynek administracyjny. Od 2009 roku znajduje się w nim kawiarnia.