Przywileje te zostały potwierdzone i rozszerzone przez króla Henryka I, który również podniósł klasztor do rangi opactwa.
Opactwo rozwijało się i rozbudowywało aż do 1540 roku, kiedy decyzją Henryka VIII zostało rozwiązane, wraz z wieloma innymi klasztorami. Opuszczone budynki stopniowo popadały w ruinę. Większość ścian stała do 1763 roku, kiedy to zawaliła się cała zachodnia strona klasztoru, co znacznie osłabiło całą konstrukcję i uczyniło ją bardzo podatną na niszczycielskie warunki pogodowe i działanie wiatru. W 1830 roku runęła główna wieża, a w 1839 chór.
W 1914 roku, podczas I wojny światowej, Whitby Abbey zostało ostrzelane przez dwa niemieckie krążowniki Von der Tann i Derfflinger. Ostrzał znacznie uszkodził osłabioną konstrukcję.
Obecnie Do dziś zachowała się jedynie niewielka część ruin kościoła, które stoją na malowniczym klifie o wysokości ok. 200 m. Znajdują się pod opieką English Heritage, agendy rządowej opiekującej się zabytkami. Na terenie opactwa prowadzone były liczne prace archeologiczne, a znalezione zabytki prezentowane są w pobliskim muzeum Cholmley House.