Modlitwa ta stanowi liturgiczno-muzyczną formę należącą do Ordinarium missae, wykonywaną po Introicie i bezpośrednio poprzedzającą Gloria.
Wezwanie Kyrie eleison rozpoczyna także większość litanii.
Formuła Kyrie eleison występuje wielokrotnie we wszystkich pozostałych obrządkach liturgicznych, zarówno w Kościele katolickim, jak i we wspólnotach prawosławnych i protestanckich.
Rys historyczny Kyrie eleison to gatunek litanijny biorący swoje początki na wschodzie, gdzie jest używane do dzisiaj jako odpowiedź ludu na wezwania diakona. We wschodnich kościołach śpiewają ją wszyscy tym samym czasie, podczas gdy w zachodnim śpiewają ją duchowni, a ludzie odpowiadają. W takiej właśnie formie występuje w relacji Eterii – najwcześniejszego znanego świadka opisującego liturgię jerozolimską końca IV w. Ten typ modlitwy litanijnej najprawdopodobniej powstał w Antiochii, następnie został zaadaptowany w Konstantynopolu, a następnie w Galii i Rzymie, gdzie Kyrie eleison było wykonywane podczas procesji do kościołów stacyjnych jako odpowiedź na inwokacje kantora lub kapłana. Później wezwanie Kyrie eleison usamodzielniło się i zaczęło być wykonywane podczas liturgii. W takiej formie już Sobór z Vaison (526 r.) uprawomocnił użycie Kyrie eleison w matutinum, mszy i nieszporach, a św. Benedykt zalecił jego odmawianie w swojej Regule (ok.