Zabytki mały|Kościół św. Jakuba Apostoła mały|Pomnik-mauzoleum Polaków zamordowanych przez Niemców w Rudzkim Moście Pierwotny układ urbanistyczny – krzyżujące się prostopadle uliczki i duży rynek pośrodku czytelny jest do dziś. Zabudowa miejska wraz z przylegającym od zachodu zamkiem komturskim wpisana została w owalny pierścień murów miejskich wzniesionych w XIV w. Kamienno – ceglany mur wzmocniony był 15 basztami i posiadał trzy bramy: Świecką, Chojnicką oraz Zieloną. Do zamku, który składał się z 3 części: zamku niskiego (podzamcza), zamku średniego (przedzamcza) i zamku wysokiego prowadziła brama i furta zamkowa. Na zachód od zamku zlokalizowane było zamkowe gospodarstwo „Kaltenberg” (Kałdowo). Nad miastem górowała bryła gotyckiej fary pw. Św. Bartłomieja.
W wyniku licznych wojen i wielkiego pożaru miasta w 1781 r. średniowieczna i nowożytna zabudowa uległa znacznemu zniszczeniu. Mieszkańcy rozebrali dawne budynki i mury miejskie, a materiał rozbiórkowy posłużył do wzniesienia nowych domów. Do dzisiaj zachowały się we fragmentach mury miejskie i zamkowe oraz nieliczne piwnice gotyckie.
W nazwach niektórych ulic miejscowa tradycja zachowała ich dawne znaczenie (np.