Ustna tradycja i legenda mówi, że ponoć kamień ten służył Jakubowi jako poduszka w Betel, gdzie Jakub doznał objawienia. Kamień został jakoby następnie przywieziony z Syrii do Egiptu przez Gatelusa, który uciekając przed zarazą pożeglował za radą Mojżesza Nilem i morzem do Hiszpanii. Stąd kamień dotarł w jakiś sposób do Szkocji i od momentu wstąpienia na tron Kennetha I podczas ceremonii koronacyjnej sadzano na nim każdego kolejnego władcę tego kraju. Lia Fáil pozostawał w opactwie Scone do 1296 roku, kiedy to Edward I Długonogi zabrał go do londyńskiego Westminsteru. Od tego czasu kamień ten (symbolicznie) leżał pod tronem królewskim w trakcie uroczystości koronacyjnych wszystkich królów Anglii i – od XVIII wieku – Wielkiej Brytanii.
Według niektórych historyków jest to ten sam kamień, co kamień Lia Fáil, znajdujący się na wzgórzu Tara w Irlandii, skąd właśnie trafił do opactwa w Scone.
Pod naciskiem szkockich nacjonalistów Anglicy w 1996 roku zgodzili się oddać Kamień Przeznaczenia – w listopadzie tegoż roku powrócił do Szkocji i został umieszczony w Zamku EdynburskimCNN – Scotland's 'Stone of Scone' finds its way home – Nov. 15, 1996.