Decyzja ta spowodowała wysłanie przeciw niemu wojsk węgierskich Władysława Hunyadyego, które kilka miesięcy później oblegały i zdobyły jego dotychczasową siedzibę – Zamek Spiski. Udało mu się jednak wkrótce porozumieć z Węgrami i już jako poddany królewski został mianowany kapitanem na zamku w Pławcu. Po śmierci Władysława Pogrobowca poparł wybór Macieja Korwina na tron węgierski, popadł z nim jednak w konflikt, który ostatecznie doprowadził do udziału jego wojsk w bitwie pod Sárospatak. Bitwa odbyła się 21 maja 1458 roku i zakończyła się przegraną wojsk husyckich. Poległ w niej również sam Piotr Aksamit, który dowodził 600 osobowym oddziałem braci.
Upamiętnienie Najdłuższa jaskinia Pienin, nosi nazwę Aksamitka. Została ona nadana na pamiątkę stacjonujących w pobliskich Haligowcach wojsk Piotra Aksamita, który – jak podawał w 1861 r. Onufry Trembecki – miał tutaj „(...) miewać główny swój majdan, zkąd całe podgórze węgierskie na wodzy trzymał. Namiestnik Węgier, Zapolia z pospolitym ruszeniem, dopiero za powtórnym usiłowaniem zdołał go poskromić”.