Fakt, że po zdobyciu tronu polskiego Ludwik Węgierski anulował zapisy terytorialne Kazimierza Wielkiego wobec Kaźka, był przez Janka wielokrotnie poruszany w kronice. Kronikarz czuł również wielką niechęć wobec matki Ludwika, królowej Elżbiety, która sprawowała w jego imieniu rządy namiestnicze w Królestwie Polskim. W związku z tym Janko prawdopodobnie wplątał się w spisek polityczny skierowany przeciw Andegawenom, być może mając na celu doprowadzenie do podwójnej koronacji. Aspiracje te doprowadziły go do upadku politycznego na przełomie lat 1370-71.
Kradzież insygniów koronnych Po uroczystym pogrzebie Kazimierza Wielkiego i koronacji Ludwika w Krakowie odkryto fakt naruszenia grobu królewskiego i kradzieży insygniów. O obrazę majestatu i świętokradztwo posądzono Janka, a oskarżycielami byli jego przeciwnicy polityczni oraz osobiści: Zawisza Kurozwęcki i Mikołaj z Kórnika. Królowa Elżbieta z początku nie wierzyła oskarżeniom, jednak Zawiszę poparł jego wpływowy ojciec, wojewoda krakowski Dobiesław Kurozwęcki. Wraz z nim wystąpił przeciw podkanclerzemu szereg znanych i liczących się osób, głównie ze środowiska szlachty krakowskiej. Do posądzenia o kradzież insygniów grobowych dodano również inne, takie jak defraudacja pieniędzy ze skarbca, udawanie szlachectwa czy kontakty z prostytutkami.