Lata 1900. W grudniu roku 1900 przyjął stanowisko ministra poczty w gabinecie Edmuna Bartona, który do czasu pierwszych wyborów federalnych miał być rządem tymczasowym Związku Australijskiego. Gdy po zaledwie 10 dniach urzędowania zmarł minister obrony James Dickson, Forrest przejął jego resort. W marcu 1900 – w pierwszych wyborach – uzyskał miejsce w federalnej Izbie Reprezentantów. W lecie 1903 roku był krótko ministrem spraw wewnętrznych w pierwszym gabinecie Deakina.
Po upadku tego gabinetu, w latach 1903-1905 zasiadał w parlamencie jako poseł niezrzeszony. W 1905 wrócił do rządu jako minister skarbu w kierowanym przez Deakina rządzie Partii Protekcjonistycznej, korzystającym z parlamentarnego poparcia Australijskiej Partii Pracy (ALP). Forrest nie ukrywał swojej niechęci do ALP i był krytykowany w prasie za to, że mimo tej otwartej animozji współpracuje z politykami lewicy. Przyczyniło się to do jego rezygnacji w 1907 roku. Został następnie posłem niezrzeszonym, nastawionym raczej krytycznie do swych dawnych kolegów. Później był jednym z głównych animatorów połączenia Partii Protekcjonistycznej z Partią Wolnego Handlu, co dało początek Związkowej Partii Liberalnej. Fuzja miała na celu zjednoczenie australijskiej prawicy w obliczu wzrostu znaczenia ALP.