Pomimo uznania zwierzchnictwa Polski stosunki książąt mazowieckich z polskim monarchą pozostały jednak napięte. Powodem tego był konflikt, jaki wybuchł pomiędzy książętami i Stanisławem Pawłowskim (natenczas będącym już biskupem płockim i wiernym stronnikiem Jagiełły). Siemowit V wraz z braćmi oskarżał m.in. biskupa od nadużywanie swojej władzy i próbę ich skłócenia z polskim monarchą. W tym celu Pawłowski miał fałszować dokumenty, z których wynikało, że Piastowcze dybali na życie Władysława Jagiełły. Sprawa była na tyle poważna, że do sporu w pewnym momencie włączyli się oprócz króla również Krzyżacy, a nawet papież i cesarz Zygmunt Luksemburski. Ostatecznie Siemowit V wraz z braćmi sprawę przegrał, a sąd papieski uniewinnił biskupa.
W 1429 r. Siemowit V uczestniczył w zjeździe w Łucku, gdzie Zygmunt Luksemburski zaproponował wyniesienie do godności królewskiej wielkiego księcia litewskiego Witolda.