Od roku 1795 Ossoliński mieszkał na stałe w Wiedniu, gdzie poświęcił się pracom naukowym i pasji bibliofila. W tym okresie rozpoczął na dużą skalę gromadzenie zbiorów bibliotecznych, graficznych, numizmatycznych i malarstwa, które już w roku 1800 przeznaczał na projektowaną fundację narodową. 5 stycznia 1808 został mianowany tajnym radcą dworu cesarskiego, a rok później (16 lutego 1809) prefektem Nadwornej Biblioteki Cesarskiej, którą skutecznie obronił przed grabieżą w czasie wkroczenia wojsk francuskich do Austrii. Przez 15 lat (1808–1823) pełnił funkcję kuratora galicyjskiego instytutu ekonomicznego w Wiedniu. Wkrótce też został mianowany przez cesarza Austrii Franciszka I najwyższym marszałkiem koronnym, komandorem orderu Św. Stefana oraz wielkim ochmistrzem Królestwa Galicji i Lodomerii.
Od roku 1800 był członkiem Towarzystwa Przyjaciół Nauk w Warszawie. Za zasługi naukowe był wybrany w roku 1808 członkiem honorowym Towarzystwa Naukowego w Getyndze oraz towarzystw naukowych w Pradze i Warszawie. Następnie został członkiem honorowym lub rzeczywistym Akademii Wiedeńskiej, Uniwersytetu Jagiellońskiego, Uniwersytetu Wileńskiego, Towarzystwa Gospodarczego w Wiedniu, Morawsko-Śląskiego Towarzystwa dla Wspierania Rolnictwa i Krajoznawstwa, Muzeum Czeskiego w Pradze.