Pastor Edward Bird był gorliwym uczestnikiem ruchu Clapham Sect, toteż surowe przestrzeganie zasad religijnych i moralnych kształtowało atmosferę dzieciństwa i wczesnej młodości sióstr Bird. Jego nieugięty sprzeciw wobec pracy i handlu w niedziele budził opór parafian, głównie pracujących w rolnictwie, tak że kongregacja przy jego kościele zaczęła się kurczyć. W 1842 przeniesiono pastora Birda do parafii kościoła St. Thomas w Birmingham. W 1848 roku rodzina przeniosła się na krótko do Eastbourne na płd. wybrzeżu Anglii, a następnie zamieszkała w w hrabstwie Huntingdonshire (obecnie Cambridgeshire).
Problemy zdrowotne Od wczesnego dzieciństwa Isabella Bird była wątła, cierpiała na dolegliwości kręgosłupa, bóle głowy i bezsenność. Lekarze zalecali częste przebywanie na świeżym powietrzu, więc od dzieciństwa jeździła konno i była oswojona z przebywaniem w naturze. Formalną naukę pobierała jedynie w domu: ojciec był zapalonym botanikiem, a matka przekazywała córkom wiedzę z pozostałych dziedzin; Isabella Lucy okazała się też szybko zapaloną czytelniczką.