W 1814 roku podczas wojny brytyjsko-amerykańskiej budynek Kongresu został podpalony i biblioteka spłonęła. Zostało zniszczonych 3 000 woluminów. Część zbiorów ocalała dzięki przeniesieniu ich w bezpieczne miejsce. Aby odbudować zbiory Jefferson sprzedał bibliotece swój zbiór książek liczący 6 487 woluminów za 23 950 dolarów. Po kolejnym pożarze w 1851 roku Kongres na odbudowę zniszczonego w połowie księgozbioru przeznaczył 168 700 $. Po zmianie w 1859 roku prawa autorskiego biblioteka przestała otrzymywać egzemplarz obowiązkowy. Po zakończeniu w 1865 roku wojny secesyjnej księgozbiór biblioteki liczył tylko 80 000 tomów i zatrudniała ona 7 osób. W 1870 roku Kongres uchwalił nowy Copyright Act, na podstawie którego to Biblioteka Kongresu była odpowiedzialna za działalność i zachowanie praw autorskich oraz przekazywanie egzemplarza obowiązkowego. W 1897 roku zbiory liczyły 840 000 woluminów.