Drugą żoną Albrechta była od 1550 Anna Maria, córka Eryka I Starszego księcia brunszwickiego i Elżbiety Hohenzollern. Z drugiego związku narodzili się: Elżbieta (1551–1596) Albrecht Fryderyk (1553–1618) – książę w Prusach.
Albrecht zmarł 20 marca 1568 w Tapiawie (, w obecnym obwodzie królewieckim). Pochowany został w Królewcu. W zniszczonej w czasie II wojny światowej katedrze sambijskiej (od 1525 luterańska) zachowała się na ścianie wschodniej prezbiterium część pomnika grobowego księcia Albrechta z 1572. Wcześniej przy ścianie południowej prezbiterium pochowana została pierwsza żona Albrechta – Dorota Duńska (epitafium z 1549). W prezbiterium znajduje się również częściowo zniszczone (wykonane w alabastrze), późniejsze epitafium Bogusława Radziwiłła i jego żony Anny Marii.