Budowa geologiczna Kanion wykształcony jest głównie w łupkach, a także iłołupkach, wapieniach, piaskowcach i granitowych intruzjach. W kanionie tym można dostrzec przekrój geologiczny od proterozoiku (w prekambrze) po trias (era mezozoiczna). Każda seria warstw skalnych ma inny odcień. Skały osadowe kanionu obfitują w skamieniałości, od pierwotnych glonów do drzew, od morskich muszli po szczątki dinozaurów.
Istnieją różne hipotezy na temat powstania kanionu. Najbardziej rozpowszechniona mówi o tym, że proces powstawania był wydłużony w czasie. Według niej kanion zaczął powstawać w zachodniej części obecnego przebiegu 17 mln lat temu, natomiast wschodni kraniec ukształtował się 5–6 mln lat temu. W następnych milionach lat trwało wcinanie się wgłębne rzeki i pogłębianie kanionu, przy zachowaniu jego długościJak powstał Wielki Kanion? „Wiedza i Życie” nr 4, 2008, str. 14, na bazie „Science” marzec, 2008. Według tej wersji rzeka Kolorado żłobiła kanion w miarę jak płaskowyż Kolorado się podnosił. Inna wersja mówi o tym, że cały kanion ukształtował się w przeciągu bardzo krótkiego czasu, nawet kilku dni.