Znaczna część ich działań rozgrywa się wewnątrz Twierdzy Nieskończoności, zagadkowej struktury złożonej z połączonych ze sobą opuszczonych budynków, funkcjonującej jako samowystarczalny mikroświat. Twierdza podzielona jest na trzy odrębne obszary: Lower Town, najniższy i najbardziej podziemny sektor; Beltline, niebezpieczną strefę pośrednią; oraz Babylon City, najwyższy poziom. Babylon City jest siedzibą Brain Trust, tajnej organizacji odpowiedzialnej za stworzenie Twierdzy, a także miejscem zamieszkania matki Ginjiego. Później okazuje się, że to właśnie Babylon City stanowi prawdziwą rzeczywistość, podczas gdy świat zewnętrzny istnieje jedynie jako wirtualny konstrukt. Dostęp do Babylon City mają wyłącznie ci, którzy zwyciężą w Ogre Battle, turnieju walki, którego zwycięzcy zdobywają prawo do przekształcania rzeczywistości według własnej woli.