W 1904 roku wieżę wydzierżawił Oliver St. John Gogarty za 12 funtów rocznie, planując ustanowić w niej kolonię pisarzy. Joyce zamieszkał w wieży 9 września tego roku, w zamian za mieszkanie zobowiązując się do wykonywania prac domowych. Po pięciu dniach wyprowadził się, gdy inny współlokator, obudzony przez koszmar, w którym ścigała go czarna pantera, wystrzelił na oślep z rewolweru. Gogarty uspokoił lokatora i zabrał mu broń, lecz gdy ten znów obudził się z krzykiem, sam wystrzelił, strącając na głowę Joyce’a półkę ze ściany. Ów szybko się wyniósł, nie pakując nawet swoich rzeczy; skarżył się potem, że cały incydent mógł być zaplanowany, żeby się go pozbyć, jako że trójka już wcześniej działała sobie na nerwy. 20px|left Wieża wpisana jest do irlandzkiego rejestru zabytków pod numerem DU023-01. Muzeum W wieży w Sandycove rozgrywają się początkowe sceny Ulissesa (mieszka w niej jeden z głównych bohaterów powieści, Stefan Dedalus). Wieżę tę, w 1954 roku, kupił i odrestaurował dubliński architekt Michael Scott, który mieszkał w pobliżu. Wsparcia finansowego udzielił John Huston, który oparł swój film na opowiadaniu Joyce’a. 16 czerwca 1962 roku otwarto w niej muzeum poświęcone pisarzowi. Muzeum mieściło niewielką kolekcję pamiątek po pisarzu rozmieszczonych w odnowionym pomieszczeniu, w którym niegdyś spał Joyce.