W okresie grecko-rzymskim pod nazwą Rithymna było ważnym ośrodkiem handlowym. W czasach bizantyjskich nie miało już tak istotnego znaczenia. W IX i X wieku n.e. było okupowane przez Arabów. Podczas okupacji weneckiej (od XIII wieku) stało się trzecim (po Heraklionie i Chanii) ośrodkiem gospodarczym i kulturalnym Krety pod nazwą Rettimo.
Okresem największej świetności miasta był wiek XVI i początek XVII – Retimno słynęło wówczas jako jeden z głównych ośrodków nauki i sztuki. Z tego okresu pochodzi potężna forteca (La Fortezza) i port z latarnią morską. Twierdzę zbudowali Wenecjanie pod koniec XVI wieku dla obrony przed piratami (słynnym Barbarossą) i wzrastającą siłą państwa Osmanów. Pod koniec tego okresu świetności powstało jeszcze ostatnie dzieło Wenecjan – fontanna Rimondi z początku XVII wieku.
W 1645 roku miasto zajęły wojska tureckie. Wenecjanie wraz z mieszkańcami (ok. 8500) wycofali się do fortecy, gdzie bronili się jeszcze przez 23 dni. Okupacja turecka trwała aż do 1897 roku.
Wygląd miasta w tamtym okresie zmienił się tak bardzo, że nabrało ono cech typowo muzułmańskich. Większość kościołów zburzono lub przekształcono w meczety.