Kompozycja muzyczna i interpretacja tekstu Cohen tworzył piosenkę przez 5 lat, choć w popularnym przekazie miał ją napisać, siedząc w bieliźnie na podłodze w hotelu Royalton Hotel. Hallelujah w oryginalnej wersji jest utworem w metrum 12/8, łączącym styl walca i muzyki gospel. Piosenka napisana jest w tonacji C-dur, następuje progresja za tekstem „it goes like this, the fourth, the fifth, the minor fall, and the major lift”: C, F, G, a, F. Oryginalna piosenka jest grana w tempie 56 BPM z ambitusem wokalu e-a1. Inne nagrane wersje są wykonywane w różnych tonacjach – oprócz C-dur, także A-dur lub c-moll. W oryginalnej wersji akompaniament tworzą bębny, gitara, gitara basowa i syntezator. Ten ostatni instrument w wersjach koncertowych jest zastąpiony przez organy, a na niektórych nagraniach aranżacja jest wzbogacona o partię saksofonu, mandoliny lub obu tych instrumentów naraz. Wersje koncertowe zawierają solo gitarowe lub organowe.
Najkrótsza nagrana wersja, z Various Positions, trwa 4 minuty i 40 sekund, a najdłuższa, z Legendary FM Broadcasts, 7 minut i 59 sekund.