Burmistrz Kayser prezentował przy tym nieugiętą i krytyczną postawę wobec narodowych socjalistów. Z jego osobistego polecenia 6 marca 1933 usunięto flagę ze swastyką z ratusza miejskiego, którą w nocy zawiesiła na nim grupa umundurowanych bojówkarzy. Ponieważ był świetnym organizatorem, zachował swoje stanowisko, gdyż był potrzebny do organizacji obchodów 650-lecia miastaWojciech Jaroszek Ratusz staromiejski w Braniewie, Braniewo 2021. Dopiero 30 kwietnia 1935Zeitschrift für die Geschichte und Altertumskunde Ermlands Band 31/32 der ganzen Folge Heft 92/93 1967/68, s.412 został usunięty ze stanowiska (sam dowiedział się z prasy 13 maja) i zastąpiony przez burmistrza z nadania NSDAP (Hansa-Georga Petrusch).
Po odwołaniu go ze stanowiska burmistrza wyjechał do Berlina, gdzie dopiero po dwóch latach bezrobocia znalazł nowe zajęcie. Po wojnie Ludwig Kayser został dyrektorem naczelnym administracji miejskiej (Oberstadtdirektor) w Bocholt, którą to funkcję pełnił do przejścia na emeryturę w 1964 roku. Resztę życia spędził w rodzinnym mieście Münster.