Neon Neon W 2007 roku Rhys nawiązał współpracę z amerykańskim producentem Boom Bipem, tworząc electro-popowy projekt Neon Neon. Ich pierwszy album, Stainless Style (2008), był koncepcyjnym albumem opowiadającym o życiu Johna DeLoreana, założyciela DeLorean Motor Company, i został nominowany do Mercury Prize w 2008 roku. Drugi album, Praxis Makes Perfect (2013), opowiadał historię włoskiego działacza i wydawcy Giangiacomo Feltrinellego.
Współprace Rhys współpracował z wieloma artystami, użyczając swojego wokalu m.in. w utworze „Dial: Revenge” zespołu Mogwai, „Fear of Guitars” (FC Kahuna), „Just War” (Danger Mouse i Sparklehorse) oraz „Superfast Jellyfish” zespołu Gorillaz.
Działalność filmowa i literacka Rhys jest również reżyserem filmowym i autorem książek. W 2010 roku wspólnie z Dylanem Gochem wyreżyserował film dokumentalny Separado!, opowiadający o jego podróży do Patagonii w poszukiwaniu dalekiego krewnego, muzyka René Griffithsa. W 2014 roku ukazała się jego książka American Interior, będąca reportażem historycznym o Johnie Evansie. W 2022 roku skomponował muzykę do filmu The Almond and the Seahorse z udziałem Rebel Wilson i Charlotte Gainsbourg.