Clerc odszedł na emeryturę w roku 1858, w wieku 73 lat, po 50 latach pracy nauczycielskiej, w tym 41 latach – w Stanach Zjednoczonych. Będąc na emeryturze nadal wspierał przedsięwzięcia w dziedzinie edukacji osób niesłyszących w Stanach Zjednoczonych. W czerwcu 1864 roku (w wieku 79 lat) uczestniczył, jako gość honorowy, w inauguracji National Deaf-Mute College w Waszyngtonie (później Gallaudet College, obecnie Gallaudet University).
Edukacja niesłyszących w USA po śmierci L. Clerca thumb|200px|ASL Convention, Austin, 2008
Mimo sukcesów Gallaudet College, kierowanego przez Edwarda Gallaudeta (syna Thomasa) oraz mimo dokonań absolwentów szkoły, stosowane w niej metody nauczania i wychowania (zgodne z koncepcjami Clerca i jego mistrzów) nie zostały zaakceptowane powszechnie. Rozwój tej i podobnych szkół dla niesłyszących napotykał na opór ze strony wpływowych środowisk, skłaniających się do opinii Alexandra Bella, który preferował nauczanie rozumienia mowy (języka ludzi słyszących), m.in. z użyciem wzmacniaczy dźwięku, oraz uczenie wzrokowego czytania z ust osoby mówiącej w określonym lokalnym języku. W roku 1880, w czasie międzynarodowej konferencji w Mediolanie, postanowiono wycofać ze szkół nauczanie oparte na językach migowych. Sprzeciwiała się temu jedynie delegacja amerykańska, w której skład wchodził Edward Gallaudet.