COBOL został zaprojektowany w 1960 roku przez Grace Hopper. Projektując COBOL korzystała ona z autorskiego kompilatora FLOW-MATIC, nad którym pracowała w 1952 roku, oraz z programu COMTRAN firmy IBM. Ze względu na swój znaczny wkład w rozwój COBOL-a Hopper jest nazywana „babcią COBOL-a”. Jego powstanie było skutkiem prób stworzenia przez Departament Obrony USA przenośnego języka programowania wykorzystywanego do przetwarzania danych. Powstał jako rozwiązanie tymczasowe, ale Departament Obrony USA wymusił na producentach komputerów jego stosowanie i przez to w krótkim czasie język został rozpowszechniony.
COBOL ustandaryzowano w 1968 roku i od tego czasu był ulepszany cztery razy. Rozszerzenia dotyczyły wsparcia programowania obiektowego oraz strukturalnego. Obecnym standardem jest ISO/IEC1989:2014„ISO/IEC 1989:2014”. ISO. 26 May 2014. Retrieved 7 June 2014..
Składnia COBOL-a opiera się na języku angielskim i została zaprojektowana tak, aby kod był czytelny oraz łatwy w dokumentowaniu (samodokumentujący się). Język jest rozbudowany pod względem składniowym i używa ponad 300 zarezerwowanych wyrazów.