Sam drugi album zespołu, noszący tytuł Vertigo Bliss został wydany 16 czerwca i tak jak poprzedni zyskał pozytywne recenzje, które wychwalały w szczególności bardziej eksperymentalny styl zespołu oraz wprowadzenie sekcji smyczkowej, w porównaniu do poprzedniej płyty.
Po długiej i wyczerpującej trasie koncertowej promującej album The Vertigo Bliss, kolejnym krokiem grupy był powrót do studia aby zarejestrować kolejne nagrania. Tak jak poprzednio, najpierw wydano dwa single promujące Glitter and Trauma” i „My Recovery Injection, 9 sierpnia oraz 20 września, przed wydaniem samego albumu noszącego tytuł „Infinity Land”. W międzyczasie pojawiła się także możliwość pobrania kolejnej piosenki a promocję zakończono wydaniem 14 lutego 2005, ostatniego singla „Only One Word Comes To Mind”. W tym czasie płytę wydał poboczny projekt Simona Neila o nazwie Marmaduke Duke, którego muzyka była promowana wraz z zespołem Biffy Clyro oraz z udziałem bliźniaków Johnston w sekcji rytmicznej tego drugiego zespołu.