Utworzeniu organu w roku 1994 przyświecały dwa główne cele. Po pierwsze, około trzech czwartych prawodawstwa UE wdrażane jest na szczeblu lokalnym lub regionalnym. Dlatego logiczne jest, by przedstawiciele tego szczebla mieli wpływ na stanowienie prawa w UE. Po drugie, obawiano się zwiększającego się dystansu społeczeństwa do integracji europejskiej. Jednym ze sposobów na wypełnienie tej luki było zaangażowanie władz lokalnych, które są najbliżej obywateli.
Rola Komitetu Regionów polega na reprezentowaniu na forum unijnym stanowisk władz lokalnych i regionalnych wobec ustawodawstwa UE poprzez wydawanie opinii na temat propozycji legislacyjnych Komisji Europejskiej. Zarówno Komisja, jak i Rada są zobowiązane do zasięgania opinii Komitetu Regionów w sprawach, które bezpośrednio dotyczą władz lokalnych i regionalnych, ale mogą również porozumiewać się z Komitetem, gdy uznają to za stosowne. Komitet może również wyrażać opinie z własnej inicjatywy i przedkładać je Komisji, Radzie, a także Parlamentowi Europejskiemu.
Komitet Regionów nie jest samodzielnym organizacyjnie, kompetencyjnie ani finansowo organem Unii Europejskiej – jest kolegialnym organem pomocniczym Rady Unii Europejskiej oraz Komisji Europejskiej. Wydawane przez niego opinie nie mają wiążącego charakteru.