Piosenkarka opisuje piosenkę jako „dość nieustanne siedem minut” oraz „taneczną, ciężkie bębny, bas i buczenie”.

17 lutego 2011 roku w wywiadzie dla strony internetowej Gibson Guitar, gitarzysta Rob Ackroyd powiedział: „Praca nad drugim albumem rozpoczęła się z Paulem Epworthem i nie ma mowy, żeby wydać go w przełomie kwietnia lub maja”. W czerwcu 2011, Epworth powiedział w wywiadzie dla BBC 6 Music, że album będzie prawdopodobnie gotowy „do końca lipca” i będzie „o wiele mniej indie, ale więcej ducha” Dodał również, że istnieje szesnaście piosenki do umieszczenia na albumie, ale nie wiadomo, czy wszystkie znajdą się na płycie.

Podczas tournée w Ameryce Północnej, Florence and the Machine, 12 czerwca 2011 roku po raz pierwszy zaprezentowali singel „What the Water Gave Me” w Greek Theatre w Berkeley w Kalifornii. 23 sierpnia 2011 utwór ukazał się na iTunes jako singel z najnowszego albumu grupy, a na oficjalnym kanale VEVO w serwisie YouTube pojawił się teledysk.

Tło i inspiracja „To dziwna płyta. Z jednej strony jest bardzo energetyczna i bezpośrednia, z drugiej strony przypomina maszynę.