Tereny wokół Olsztyna opuszczone przez Gotów w V wieku pozostały przez kilkadziesiąt lat opustoszałe.
Jednak w pierwszej ćwierci VI wieku w okolice Olsztyna przybył lud, który pozostawił po sobie zaawansowaną kulturę znaną jako grupa olsztyńska. Kultura znana jest przede wszystkim z bogato wyposażonych cmentarzysk w Kielarach, ok. 9 km na południe od Olsztyna, i Tumianach koło Barczewa, a także szeregu mniejszych stanowisk, min. w Olsztynie i Bartążku. Z czasem kultura olsztyńska rozciągnęła się na wschód, na tereny wcześniejszej kultury bogaczewskiej (galindzkiej). Zanikła z końcem VII wieku lub początkiem VIII wieku.
Kultura grupy olsztyńskiej cechowała się silnymi związkami z innymi kulturami germańskimi tamtego okresu, min. krymskich Gotów i Sasów. Jest ona określana jako „ostatnia grupa kulturowa o tradycjach germańskich w Europie Środkowej”. Według najszerzej przyjętej opinii, ludność kultury olsztyńskiej utożsamia się z germańskimi Herulami. Zgodnie z przekazem historycznym Prokopiusza z Cezarei, Herulowie migrowali razem z Gotami, lecz około 512 roku część z nich postanowiła powrócić z południa Europy do swojej ojczyzny.