Pod koniec 1936 roku Scott skompletował zespół wśród znajomych z radia CBS, który nazwał Raymond Scott Quintette. Była to grupa sześcioosobowa, ale przewrotny pomysł Scotta nazwania jej „Quintette” (jego pisownia) brzmiała „czyściej”; ponadto powiedział reporterowi, że obawiał się, czy nazwanie grupy „sekstetem” nie odwróci uwagi słuchacza od muzyki. Początkowy skład grupy stanowili: Pete Pumiglio (klarnet), Bunny Berigan (trąbka, szybko zastąpiony przez Dave’a Wade’a), Louis Shoobe (kontrabas, Dave Harris (saksofon tenorowy) oraz Johnny Williams (perkusja). Zespół próbował ożywić muzykę swingową poprzez dynamiczne aranżacje oraz zmniejszenie znaczenia improwizacji. Stworzony w ten sposób styl muzyki Scott nazwał „descriptive jazz” („jazz opisowy”), a swoim pracom nadawał niezwykłe tytuły, jak „New Year’s Eve in a Haunted House” („Sylwester w Nawiedzonym Domu”), „Dinner Music for a Pack of Hungry Cannibals” („Muzyka Obiadowa dla Paczki Głodnych Kanibali”, nagrane przez Kronos Quartet w 1993), czy „Bumpy Weather Over Newark” („Wyboista Pogoda Nad Newark”). Mimo popularności wśród publiczności, krytycy odnieśli się negatywnie do jego twórczości jako nowego gatunku muzyki.