W 1908 roku zamek został odkupiony od Campbellów przez Charlesa Stewarta. Przeprowadził on podstawowe prace konserwatorskie, aby powstrzymać jego dalszą degradację. W 1947 roku jego następca, gubernator Sarawaku Duncan Stewart został zamordowany przez Drajaków, a własność zamku Stalker przeszła na wdowę po nim. W 1965 roku podpułkownik Stewart Allward zakupił zamek i przez następne dziesięć lat prowadził prace renowacyjne, doprowadzając zamek Stalker do stanu nadającego się do zamieszkania. Zmarł on 5 lutego 1991 roku, a jego żona Marion 7 lipca 2005 roku. Po ich śmierci opieka nad zamkiem przeszła na ich dzieci.
Architektura Zamek Stalker to kamienna wieża mieszkalna wzniesiona na planie prostokąta o wymiarach 15,2 × 12,1 m i wysokości od 11,8 do 14,8 m. Liczy 4 kondygnacje nadziemne. Wejście do zamku, do którego prowadzą kamienne schody, znajduje się na pierwszym piętrze, w środkowej części ściany południowo-zachodniej. Widnieje nad nim wykonany z piaskowca herb klanu Stewart. Wejście zabezpieczały podwójne drzwi oraz machikuły.