Po wielu miesiącach koncertów Guano Apes rozpoczęło nagrywanie drugiej płyty. Nowy album zarejestrowano m.in. w belgijskim studiu „Galaxy Studios”. Pierwszy singel zwiastujący nową płytę ukazał się 20 marca – zawierał on cover utworu znanej w latach ’80 grupy Alphaville pt. Big in Japan. Utwór spotkał się z ciepłym przyjęciem fanów w całej Europie. 2 maja ukazał się krążek zatytułowany Don’t Give Me Names. Album, zawierający m.in. takie przeboje jak No Speech czy Dödel Up, odniósł sukces komercyjny, dochodząc do pierwszego miejsca na liście sprzedaży w Niemczech. W samej Polsce znalazł on ok. 40.000 nabywców.
W początkach roku 2002 Sandra Nasic zaczęła pisać teksty na nowy, trzeci już w dorobku zespołu album. Zespół zrezygnował wówczas z koncertów, by w pełni skoncentrować się na nagraniach. 3 lutego 2003, ukazał się trzeci, promowany singlem You Can’t Stop Me, album zespołu zatytułowany Walking on a Thin Line. Płyta, na której znalazły się również takie kawałki jak Pretty In Scarlet oraz Quietly, okazała się przebojem komercyjnym, trafiając do pierwszej dziesiątki sprzedaży we właściwie wszystkich krajach w których się ukazała.