Zaraz po zakończeniu touru, Nick Jago opuścił zespół. Odejście Jago miało związek z jego uzależnieniem od narkotyków. Symbolem problemów była sytuacja z gali rozdania nagród NME Awards. Perkusista odmówił zejścia ze sceny po odebraniu statuetki za najlepszy teledysk i stał na niej w milczeniu przez 9 minut. Wreszcie po nieudanym koncercie w Szkocji doszło do kłótni między Hayesem i Jago, wskutek czego ten drugi odszedł z grupy.
Bezpośrednio po wydaniu "Take Them On, On Your Own" pojawiły się spięcia z wytwórnią. Zespół twierdził, że nie wspiera ona promocji płyty. Ostatecznie kontrakt został rozwiązany. Robert Levon Been stwierdził później, że zespół nie miał dobrych układów z wytwórnią i szukał sposobu na opuszczenie Virgin.
2005−2006 thumb|left|240px|Robert Levon Been podczas występu na festiwalu Eurockéennes w 2013 roku W 2005 roku zespół był bliski zakończenia działalności. Ostatecznie Hayes i Levon Been postanowili nagrać nowy album za własne pieniądze. Dopiero po nagraniu albumu zespół zabrał się za szukanie nowej wytwórni, która zajęłaby się jej dystrybucją. Płyta została wydana przez Echo w Europie i RCA w USA. Po odbyciu odwyku Nick Jago wrócił do zespołu, ale zdążył nagrać partie do zaledwie jednej piosenki, "Promise".