Wybierany jest przez szefów sztabów zwykle na trzyletnią kadencję. Przewodniczący Komitetu Wojskowego kieruje bieżącymi pracami komitetu, reprezentuje Komitet Wojskowy na posiedzeniach Rady Północnoatlantyckiej, Komitetu Planowania Obrony i Grupy Planowania Nuklearnego, doradzając w kwestiach wojskowych jest rzecznikiem Sojuszu w kontaktach ze środkami masowego przekazu, składa oficjalne wizyty, podejmuje delegacje, reprezentuje Komitet Wojskowy zarówno w państwach członkowskich, jak i tych, z którymi Sojusz rozwija współpracę na bazie dialogu i partnerstwa ustanowionego w ramach Rady Współpracy Północnoatlantyckiej. Ma do pomocy Dyrektora Międzynarodowego Sztabu Wojskowego i jego Zastępcę.
Struktura Komitetu Wojskowego W latach 90. XX w Komitetowi Wojskowemu podporządkowani byli: Naczelny Dowódca PSZ w Europie (SACEUR) Naczelny Dowódca PSZ Atlantyku (SACLANT) Dowódca PSZ Kanału La Manche (CINCHAN) Regionalna Grupa Planowania Strategicznego Stany Zjednoczone – Kanada
Komitetowi Wojskowemu podlega kilka specjalistycznych agencji wojskowych, jak np.: agencja do spraw standaryzacji broni. Organem wykonawczym Komitetu jest Międzynarodowy Sztab Wojskowy z siedzibą w Brukseli. W jego skład wchodzi grupa oficerów wszystkich państw członkowskich.