Wszystkie dotychczas zebrane fakty wskazują na to, że William Butler pochodził z mieszczańskiej rodziny angielskich kolonialistów, którzy zaaklimatyzowali się na Zielonej Wyspie, choć nie przyjęli jej wiary i języka.
Duży wpływ na młodego Williama wywarł ojciec, do końca swojego życia (zmarł w 1922 roku) najlepszy przyjaciel poety. John Butler Yeats był znanym malarzem, a także wielbicielem poezji romantyków i prerafaelitów angielskich. Swoje fascynacje zaszczepił Williamowi i jego rodzeństwu – bratu Jackowi, który został znanym malarzem impresjonistą, oraz siostrom Elizabeth i Susan, które zajmowały się działalnością wydawniczą. Wakacje mały William spędzał zawsze u dziadków w Sligo, w cieniu góry Ben Bulben, która wielokrotnie powracała w jego poezjach. W Sligo spotykał wuja-dziwaka, z zamiłowania astrologa, od którego usłyszał po raz pierwszy stare mity i legendy celtyckie, m.in. swoją ulubioną o zaczarowanej krainie Sidhe, w której mieli przebywać wielcy bohaterowie z przeszłości.