W tym składzie Dżem intensywnie koncertował, między innymi na Rawie Blues w Katowicach czy ponownie na festiwalu w Jarocinie. Jednak wkrótce potem, na skutek znacznego wzrostu zainteresowania muzyką stricte rockową spod znaku Lady Pank, Maanamu, Perfectu, Oddziału Zamkniętego czy Republiki, popularność zespołu znacznie zmalała. W tym okresie Riedel występował gościnnie w Krzaku, Berger grał wraz z Martyną Jakubowicz, natomiast Adam Otręba wyjechał koncertować na Bliski Wschód. Skład Dżemu uzupełnili klawiszowiec Rafał Rękosiewicz oraz na krótko gitarzysta Leszek Winder.
W 1983 roku, po powrocie do formacji Bergera i Otręby, zespół nagrał drugi singel – „Dzień w którym pękło niebo / Wokół sami lunatycy”, wydany we wrześniu 1984. Rok później ukazuje się pierwszy koncertowy album Dżem zarejestrowany w czerwcu 1984 roku podczas FAMY w Świnoujściu, wydany później na kompakcie jako Dzień, w którym pękło niebo. W sierpniu zespół wystąpił na Olsztyńskich Nocach Bluesowych, a jesienią wyjechał na trzy koncerty do Berlina Zachodniego.