Pod koniec XI w. Andover zamieszkiwało 107 mężczyzn, przy całkowitej liczbie 500 mieszkańców. Była to dość wielka osada jak na ówczesne standardy (większość wiosek liczyło sobie 100–150 mieszkańców). Andover posiadało sześć młynów wodnych, mielących ziarno na mąkę.
Andover zostało wspomniane w Domesday Book (1086) jako Andovere.
W 1175 r. król Ryszard I sprzedał Andover przywilej, tworząc stowarzyszenie handlowe, skupiające władze miasta. Członkowie wybierali dwóch urzędników, nazywanych administratorami majątku ziemskiego, którzy zarządzali miastem. W 1201 r. król Jan I dał tutejszym handlarzom prawo do samodzielnego zbierania królewskich podatków. W 1256 r. król Henryk III umożliwił obywatelom miasta zbudowanie sądu, w którym mieli karać przestępców za wykroczenia popełnione w Andover. Miasto miało także swoich posłów do parlamentu w 1295 r. i latach 1302–1307. Miasto przetrwało dwa poważne pożary w 1141 i 1435 r.
Andover nadal pozostawało małym miastem targowym, w którym przetwórstwo wełny stanowiło najważniejszą gałąź przemysłu. Przypominają o tym nazwy dzisiejszych ulic, w okolicy zwanej „Sheep Fair” (ang. Owczy Targ). Każdego roku odbywały się tutaj targi, a sam rynek otwarty był codziennie.