15 stycznia 2001 razem z Larrym Sangerem zainicjował Wikipedię, opartą na mechanizmie wiki wolną encyklopedię typu Open Source. Początkowo Wikipedia miała dostarczać treści dla Nupedii w celu dalszej jej obróbki przez zespół redakcyjny. Wkrótce jednak okazało się, że Wikipedia rozwinęła się w błyskawicznym tempie i prześcignęła projekt Nupedii, który z czasem został zupełnie zarzucony. thumb|Jimmy Wales na konferencji CeBIT w 2014
W początkowym okresie finansowanie projektu Wikipedii było zapewniane przez Jimmy’ego Walesa, natomiast Larry Sanger, jako jego pracownik, miał za zadanie czuwać nad merytoryczną stroną projektu. Wales uważa się za wyłącznego twórcę Wikipedii (ponieważ Sanger był jego pracownikiem), natomiast Sanger utrzymuje, że jest współtwórcą Wikipedii.
W połowie 2003 założył Wikimedia Foundation, organizację non-profit z siedzibą w St. Petersburgu na Florydzie, która prowadzi Wikipedię i jej siostrzane projekty. Do 30 października 2006 był prezesem Wikimedia Foundation i przewodniczącym jej zarządu.