Ossoliński zamierzał bowiem stworzyć w powołanym przez siebie Zakładzie ognisko badań nad dziejami i literaturą ojczystą oraz stowarzyszenie uczonych, pracujących na tym polu.
25 grudnia 1823 Ossoliński zawarł umowę z księciem Henrykiem Lubomirskim, który włączył swe zbiory do Biblioteki Ossolińskich, co prawda oddzielnie, lecz w ścisłym i trwałym związku, pod nazwą „Muzeum imienia Lubomirskich”.
W 1820 roku zapadł na ciężką chorobę, zaś w 1823 stracił wzrok. Zmarł po ciężkich cierpieniach w Wiedniu 17 marca 1826. Jego grób nie istnieje – znajdował się bowiem w tej części cmentarza Matzleindorf, która została zniszczona i zajęta na cele komunikacyjne.
W 1826 roku Stany Galicyjskie poleciły Gwalbertowi Pawlikowskiemu, nadwornemu sekretarzowi w Wiedniu, odbiór i spisanie zbiorów Ossolińskiego. W ciągu 10 miesięcy Pawlikowski spisał i spakował całą kolekcję, a 31 marca 1827 wysłał na miejsce – do Lwowa. Cały zbiór Ossolińskiego, darowany narodowi polskiemu jako Zakład Narodowy imienia Ossolińskich, spakowany w 52 ogromne skrzynie, zawierał 10 121 dzieł w 19 055 tomach, 456 tomów dubletów (tj. podwójnych egzemplarzy), 76 wiązek różnych pism, 567 rękopisów w 715 tomach, 133 map oraz 1445 rycin.