Miasto miało kilka szpitali, łącznie ze szpitalem Marii Magdaleny dla trędowatych, ufundowanym jeszcze przed 1199 rokiem.
left|thumb|Stare budynki o drewnianym szkielecie na St Nicholas Street Miasto rozwijało się w okresie średniowiecza, szczególnie po wejściu do Hanzy. W roku 1380 Geoffrey Chaucer sparodiował handlarzy z Ipswich w swoich Opowieściach kanterberyjskich. Urodzony i żyjący w Ipswich kardynał Thomas Wolsey założył tu w roku 1528 kolegium, obecnie znane pod nazwą Ipswich School. Szkołę tę ukończyli liczni angielscy artyści, naukowcy, politycy i wojskowi.
W latach 1611–1634 Ipswich był portem startowym dla osadników udających się do Nowej Anglii. W roku 1797 Lord oraz Lady Nelson przenieśli się do Ipswich, a w roku 1800 Lordowi Nelsonowi nadano godność „Wysokiego Zarządcy Ipswich” (ang. High Steward of Ipswich).
W XIX stuleciu odkryto tu koprolity, uruchomiono ich wydobycie i przetwórstwo. Ipswich spełnia i spełniało rolę ważnego portu przeładunkowego.
thumb|300px|Otoczenie Ipswich