W latach dwa tysiące dziesiątych problem tłumaczenia maszynowego był adresowany z użyciem sieci RNN wraz z mechanizmem uwagi. Ta koncepcja została później ulepszona w architekturze transformera. To zapoczątkowało tworzenie dużych modeli językowych jak BERT w 2018, który posiada wstępnie wytrenowany transformer ale nie był stworzony jako model generatywny (BERT składał się tylko z koderów).
Rozwój modeli GPT-1, pierwszy model z serii, został wydany w 2018 roku. GPT-1 jako pierwszy model w serii zastosował innowacyjne podejście do uczenia nienadzorowanego i uczenia transferowego. Umożliwiło to generowanie tekstów o większej spójności i zrozumiałości w porównaniu do wielu wcześniejszych modeli przetwarzania języka naturalnego, co stanowiło istotny krok w rozwoju sztucznej inteligencji opartej na przetwarzaniu języka naturalnego.
GPT-2 zostało wydane w lutym 2019 roku, a GPT-3 w czerwcu 2020 roku.
Kolejne wersje wprowadzały fundamentalne zmiany w architekturze i usprawnienia względem GPT-1, takie jak: zwiększenie liczby parametrów, co pozwoliło na lepsze modelowanie języka, oraz wytrenowanie na znacznie większym i bardziej zróżnicowanym zbiorze danych, dzięki czemu modele były w stanie lepiej generalizować i radzić sobie z różnorodnymi zadaniami związanymi z przetwarzaniem języka naturalnego.