Represje nasiliły się pod panowaniem Niemców. Masowe egzekucje Żydów, komunistów i inteligencji w Szczebrze i lesie Klonownica, także działały tu wyniszczające kommanda pracy dla jeńców radzieckich, czego dowodem jest grób w Dąbku. Pomiędzy sierpniem 1941 r. a listopadem 1942 r. funkcjonowało tu założone przez Niemców getto dla ludności żydowskiej, którego mieszkańcy przez Prostki i Bogusze skierowani zostali na zagładę do Treblinki. Egzekucje odbywały się także na ujętych żołnierzach AK – tych najwięcej stracono w Naumowiczach. Ogółem stracono w rejonie Augustowa około 18 tys. osób.
Ofensywa radziecka w 1944 roku zatrzymała się i miasto przez sześć miesięcy pozostawało w strefie frontowej między drugą połową lipca a 23 stycznia 1945 roku, czego efektem były bombardowania lotnicze i artyleryjskie, także wyludnienie miasta i liczne grabieże majątku mieszkańców. Zniszczenia wojenne miasta sięgnęły 70%.