Również stosunki wewnątrzmałżeńskie pomiędzy Anną i Stefanem układały się źle. W chwili ślubu Anna była już niemłoda (miała wówczas 53 lata), do tego uznawano ją za osobę nieumiejącą wzbudzić zainteresowania, zarówno wskutek jej negatywnych cech charakteru (w opinii współczesnych była nudną i pełną dewocji starą panną), jak i wyglądu (uchodziła za brzydką). Zachowały się przekazy, że gdy przebywali w tym samym miejscu, królowa potrafiła spędzać u drzwi do komnaty męża całą noc w oczekiwaniu na jego nadejście. Kwestia była szeroko znana, ponieważ królowa, w przeciwieństwie do Stefana Batorego, nie kryła się z niemożnością porozumienia z mężem. Pojawiły się nieprawdziwe plotki o możliwym rozwodzie, do którego miał dążyć król namawiany podobno do tego przez Jana Zamoyskiego.
Od 1575 za pośrednictwem przebywającego w Rzymie kardynała Stanisława Hozjusza uzyskała dodatkowo częściową spłatę sum neapolitańskich, pożyczonych swego czasu przez Bonę Filipowi II.