W 1302 Rakvere otrzymało przywileje miejskie na prawie lubeckim, a w 1347 król duński Waldemar III sprzedał Krzyżakom ziemie, na których leżał zamek. Na miejscu dotychczasowej twierdzy (wykorzystując i poszerzając dotychczasowe założenie) wznieśli oni potężny zamek, jako siedzibę lokalnych władz zakonnych. W XVI w. dobudowano okrągłą wieżę. Zamek był własnością Krzyżaków przez ponad dwieście lat, do czasów wojen inflanckich. W ich wyniku zamek przeszedł na własność Rosjan, którzy dobudowali do zamku nieregularne zewnętrzne mury obronne. Duńczycy podejmowali próby odbicia zamku i miasta z rąk rosyjskich, ale bezskutecznie.
Zamek wielokrotnie narażany był na ataki i próby zniszczenia oraz wielokrotnie remontowany i rozbudowywany. Ostatniej rozbudowy dokonali Szwedzi w XVI w., którzy po północnej i południowej stronie zamku dobudowali baszty i wzmocnili ścianę oraz wieże po zachodniej stronie zamku. Znaczne zniszczenia zamku poczynione zostały w czasie wojen polsko-szwedzkich w XVII wieku, w czasie których rozegrała się między innymi Bitwa pod Rakvere, w której polskim wojskiem dowodził Jan Karol Chodkiewicz.