Od późnego średniowiecza miał miejsce rozkwit obu miast, powstawały późnogotyckie kościoły, kaplice oraz kamienice. W 1463 Fryderyk III Habsburg wydał zgodę na budowę mostu przez Dunaj, drugiego najstarszego mostu na tej rzece w Austrii. W 1485 Stein zostało zajęte przez Węgry, w których posiadaniu pozostawało do 1490. Ze Stein pochodziła Barbara Edelpeck, metresa króla Węgier Macieja Korwina, matka jego jedynego syna Jana Korwina.
mały|lewo|Panorama miasta z ok. 1900 roku W XVI wieku Krems było ośrodkiem reformacji, jednak wskutek kontrreformacji stało się ponownie katolickie. W XVII wieku przyszło załamanie gospodarcze wskutek zmiany szlaków handlowych i utraty znaczenia handlu dunajskiego. Dodatkowo oba miasta znacząco ucierpiały w trakcie wojny trzydziestoletniej, gdy po rocznym oblężeniu zostały zdobyte przez Szwedów w 1645, a następnie zostały odbite przez Austriaków. Połowa domów została wówczas zniszczona.
Na mocy reformy z 1849 rozdzielono administracyjnie oba miasta. W okresie, gdy Polska znajdowała się pod zaborami, od 1850 komisarzem powiatowym w Krems był malarz Franciszek Ksawery Siemianowski, który, nie zaniedbując obowiązków służbowych, malował okoliczne widoki, w tym panoramę miasta.