Rundę wiosenną sezonu 2016/2017 spędził w Grasshopper Club Zürich. W Swiss Super League zadebiutował 18 marca 2017 roku w przegranym 0:1 meczu z FC Basel. Ogółem wystąpił w sześciu ligowych spotkaniach, a po zakończeniu sezonu został zwolniony. Następnie wrócił do Danii, wiążąc się we wrześniu trzyletnią umową z FC Helsingør. Był podstawowym zawodnikiem drużyny, która w sezonie 2017/2018 spadła do 1. division. W sezonie 2018/2019 kontynuował grę w FC Helsingør, po czym przeszedł do Aalborg BK. W tym klubie rozegrał 35 ligowych meczów, zdobywając w nich 7 bramek, wystąpił również w finale Pucharu Danii, w którym AaB uległo 0:2 SønderjyskE. W przerwie letniej 2020 roku został pozyskany przez Aarhus GF za kwotę miliona euro. W tym klubie wystąpił w 43 meczach Superligaen, w których strzelił 3 gole.
15 lutego 2022 roku za 200 tysięcy euro został pozyskany przez Śląsk Wrocław. Z polskim klubem związał się trzyipółletnią umową. W Ekstraklasie zadebiutował 27 lutego 2022 roku w zremisowanym 0:0 meczu z Zagłębiem Lubin. W sezonie 2022/2023 pełnił funkcję kapitana zespołu. W sezonie 2023/2024 zdobył wicemistrzostwo Polski. 4 września 2024 roku Śląsk ogłosił rozwiązanie za porozumieniem stron kontraktu z Olsenem oraz transfer zawodnika do Dinama Bukareszt.