Po śmierci Yoshimitsu willa została zgodnie z jego wolą zamieniona w świątynię. Nazwa Rokuon-ji została zaczerpnięta z pierwszych dwóch znaków pośmiertnego imienia Yoshimitsu – Rokuon’in. Z kolei imię to pochodzi od Parku Jeleni w stanie Uttar Pradesh, w północnych Indiach, gdzie Budda Siakjamuni wygłosił swoje pierwsze kazanie po osiągnięciu oświeceniaSchirokauer, Lurie and Gay (2005), s. 106..
W 1950 roku została podpalona (spłonęła doszczętnie) przez psychicznie chorego, pogardzanego, buddyjskiego akolitę, który następnie próbował popełnić samobójstwo. Wydarzenie to stało się motywem bestsellerowej powieści psychologicznej, wydanej w 2017 roku pod polskim tytułem „Złota Pagoda” autorstwa Yukio Mishimy (1925–1970) z 1956 roku. Zdaniem pisarza, nowicjusz zdecydował się na ten krok dlatego, że nie mógł dłużej żyć, odczuwając nad sobą władzę piękna, jaką sprawowała nad nim świątynia, jeden z najcenniejszych skarbów narodowych w Japonii.
Odbudowa budowli została zakończona w 1955, a ściany zewnętrzne pokryto płatkami złota w 1987 roku. Zrekonstruowano również malowidła we wnętrzu.