Ateny Roza przeprowadziła się do Aten krótko po śmierci Zardinidisa, aby kontynuować karierę muzyczną. Szybko stworzyła zespół z dwojgiem armeńskich artystów kabaretowych, Seramousem i Zabelem. Podobno spodobała się im ponieważ mówiła po turecku i potrafiła śpiewać. Chociaż nadal występowała jako tancerka, zaczęła śpiewać dla mecenasów klubu po grecku, turecku i ormiańsku. To tam, pod koniec lat 20. XX wieku, „odkrył” ją znany kompozytor i impresario Panagiotis Toundas. Toundas od razu rozpoznał jej talent i przedstawił ją Vassilisowi Toumbakarisowi z Columbia Records.
thumb|alt="Photo of Smyrna Style Trio (c. 1930)|K. Lambros, R. Eskenazi, A. Tomboulis (Athens, c. 1930) Dwa pierwsze nagrania Rozy dla Columbia Records, Mandili Kalamatiano i Koftin Eleni Tin Elia (ok. 1928) znaczą początek okresu nagrywania płyt, który, praktycznie bez przerwy, będzie trwał do lat 60. XX wieku. Do połowy lat 30. nagrała dla Columbii ponad 300 piosenek i stała się jedną z ich najbardziej popularnych gwiazd. Część z piosenek należała do gatunku muzyki folkowej, szczególnie z Grecji i Smyrny (İzmir) w Turcji. Jednak jej najważniejszym wkładem w lokalną scenę muzyczną były nagrania rebetiko, a zwłaszcza izmirskiej szkoły rebetiko.