Był to album w całości nagrany w języku walijskim, na którym większość instrumentów zagrał sam Rhys.
Drugi album, Candylion, wydany 8 stycznia 2007 roku przez Rough Trade, zawierał akustyczne piosenki pop w języku angielskim, hiszpańskim i walijskim. Trzeci album, Hotel Shampoo (14 lutego 2011), powstał w oparciu o kolekcję kosmetyków hotelowych, które Rhys gromadził podczas tras koncertowych; w 2011 roku zdobył za niego inauguracyjną nagrodę Welsh Music Prize.
W maju 2014 roku ukazał się album American Interior, będący częścią wielomedialnego projektu obejmującego film, książkę i aplikację mobilną. Projekt opowiadał historię Johna Evansa, walijskiego podróżnika z XVIII wieku, który poszukiwał legendarnego walijskiego plemienia w Ameryce Północnej.
Kolejne albumy solowe Rhysa to Babelsberg (2018), Pang! (2019), Seeking New Gods (2021) oraz Sadness Sets Me Free (2024). Jego dziewiąty album solowy, Dim Probs, ukazał się we wrześniu 2025 roku.