W 2004 Matera, Chrzanowski i Grabowski nagrali kolejną płytę Nielegalny zabójca czasu. Dwa lata później ukazał się dwupłytowy zestaw najbardziej znanych utworów zespołu Punk’s Not Jazz. W 2009 na płycie Gajcy! (zawierającej utwory nagrane przez różnych wykonawców do tekstów Tadeusza Gajcego) wydanej przez Muzeum Powstania Warszawskiego muzycy zaaranżowali utwór „Śpiew murów”. W listopadzie tego samego roku grupa wzięła udział w koncertach w Stanach Zjednoczonych (w tym w festiwalu „Performing Revolution in Central and Eastern Europe” organizowanym przez Instytut Kultury Polskiej w Nowym Jorku z okazji dwudziestej rocznicy zerwania żelaznej kurtyny. Na festiwalu zagrały zespoły z Europy Wschodniej i Centralnej – przedstawicielem Polski był Dezerter). W 2010 członkowie zespołu przystąpili do prac nad płytą Prawo do bycia idiotą, której premiera miała miejsce 11 października 2010.