Terumoto przeniósł się do zamku, jeszcze przed jego ukończeniem, w 1593 roku.
Jedna z teorii mówi, że nazwa „Hiroszima” (hiro → szeroka, shima → wyspa) pochodzi od opisu największej z niskich, płaskich wysp w delcie rzeki Ōta, gdzie został zbudowany zamek.
Okres Edo Po porażce w bitwie pod Sekigaharą w 1600 roku Terumoto Mōri został usunięty z Hiroszimy przez zwycięskiego Ieyasu Tokugawę (1543–1616), który przydzielił te ziemie domenie Chōshū (268 lat później w trakcie restauracji Meiji wasale klanu Mōri w tej domenie, należąc do sojuszu procesarskich rebeliantów pozbawili ród Tokugawa władzy nad Japonią).
Ieyasu Tokugawa przydzielił domenę Hiroszimy Masanoriemu Fukushimie (1561–1624) w nagrodę za przymierze w bitwie pod Sekigaharą. Jednak już w 1619 roku następny siogun rodu, Hidetada Tokugawa (1579–1632), usunął Fukushimę za to, że dokonał nieautoryzowanych napraw zamku zniszczonego podczas powodzi i przekazał lenno innemu sprzymierzeńcowi, Nagaakirze Asano (1586–1632). Klan pełnił tam rolę podpory w systemie kontroli sioguna nad regionem południowo-zachodniego Honsiu do końca okresu Tokugawa.