Pierwszym panem Challain mógł być Hilduinus z Calein, którego nazwisko pojawia się w dokumentach ok. 1050 rokuRené de l'Esperonnière, vol. 1, Angers, Lachèse, 1894, 783 p., s. 416. Z kolei ok. 1120 roku, prawdopodobni potomkowie Hilduinusa, zwani Rainaud, Warin i Haï de Challain, pojawiają się w kartulariuszu klasztoru Świętego Mikołaja w Angers. Następnie, aż do początku XIII w., nie ma żadnej wzmianki o panu Challain. Wówczas wieś należała do Wilhelma de Thouars, pana Candé i Lion-d'Angers. Jego potomkowie są częścią rodziny Châteaubriant, która przez dwieście lat była właścicielem Challain.
W 1284 r., po podziale spadku, Challain stało się własnością młodszej gałęzi rodziny Châteaubriant. Ta zachowała wieś i jej zamek aż do roku 1522, kiedy to umiera Maria de Châteaubriant, ostatnia przedstawicielka rodu. Maria de Châteaubriant była żoną Jana III z Chambes, Pana Montsoreau, syna Jana II z Chambes, budowniczego zamku Montsoreau i pierwszego doradcy króla Karola VII z dynastii Walezjuszów. Zarówno ich syn Filip de Chambes, jak i wnuk Jan IV, chcieli sprzedać Challain, ostatecznie dokonał tego ten ostatni w 1574René de l'Esperonnière, vol. 1, Angers, Lachèse, 1894, 783 p., s. 432.