Prace nad śmigłowcem Jak-24 rozpoczęły się w 1951 roku, a ich formalnym usankcjonowaniem było postanowienie Rady Ministrów ZSRR z października tego roku, nakazujące skonstruowanie śmigłowca o udźwigu 2000 kg lub 20 żołnierzy. W 1952 roku zbudowano w zakładzie nr 272 w Leningradzie dwa egzemplarze prototypowe, a w Moskwie w zakładzie nr 115 egzemplarz nielatający do badań naziemnych. W dniu 3 lipca 1952 roku miał miejsce pierwszy lot prototypu. Jak-24 skonstruowany był w nietypowym dla radzieckich śmigłowców i niestosowanym szerzej poza USA układzie dwuwirnikowym podłużnym (najlepiej znanym z późniejszego CH-47 Chinook). Z racji wyglądu nazywany był w ZSRR „latającym wagonem” (летающий вагон, letajuszczij wagon). Przyczyną zastosowania tego układu była potrzeba skonstruowania ciężkiego śmigłowca transportowego w sytuacji, gdy ówczesna radziecka technologia jeszcze nie pozwalała na budowę śmigłowców z pojedynczym wirnikiem o takim udźwigu. Wykorzystano w nim niektóre elementy konstruowanego równocześnie średniego śmigłowca Mi-4, jak silniki, układ przeniesienia napędu i wirnik. Nowy śmigłowiec nie okazał się jednak tak udaną konstrukcją jak Mi-4, zwłaszcza jego napęd powodował problemy z wibracjami. Próby państwowe i poprawki konstrukcji trwały od stycznia 1953 do 1955 roku.