Budowa zamku trwała trzy stulecia.
Zamek thumb|Wieża strażnicza używana jako dzwonnica Budowanie, poszerzanie oraz przebudowy twierdzy trwały kilka wieków, gdyż budowla była stale modernizowana, by dostosować ją do nowych rodzajów uzbrojenia. Ostatecznego kształtu twierdza nabrała za panowania biskupa Johannesa IV Kievela. Jej powierzchnia zajmowała ponad 30 000 m², grubość murów obronnych wynosiła od 1,2 do 1,8 m, a ich wysokość ponad 10 m. Po zachodniej stronie zamku mieści się 29-metrowa wieża strażnicza z XIII wieku, później używana jako dzwonnica. Mury obronne podniesiono później do wysokości 15 metrów. Wewnętrzne okopy osłonięte blindażami, zbudowane na armaty oraz jako schronienie przed ostrzałem armatnim, powstały w czasie wojen inflanckich (1558–1582). W czasie tychże wojen twierdza została poważnie zniszczona – zwłaszcza mury małego zamku i zewnętrzne fortyfikacje.
W XVII wieku, gdy Szwedzi przejęli panowanie nad księstwem Estonii, zamek przestał być używany do celów obronnych. W trakcie wielkiej wojny północnej w 1710 roku Estonia znalazła się pod rosyjskim panowaniem.