Kariera szkoleniowa Po zakończeniu kariery był jednym z pomocników trenerów Crystal Palace oraz Queens Park Rangers. W wieku 38 lat, w grudniu 1982 podjął pierwszą samodzielną pracę szkoleniową i przejął obowiązki menedżera słabo spisującego się w Third Division (angielskim odpowiedniku polskiej trzeciej ligi), Millwall. Udało mu się wyprowadzić klub z kryzysu. W swoim pierwszym sezonie z łatwością uniknął degradacji, w drugim – zajął miejsce w środku stawki, zaś w trzecim – niespodziewanie wywalczył awans. W ostatecznym rozrachunku zajął drugie miejsce w tabeli, ustępując jedynie Bradford City. Powrót do drugoligowych rozgrywek był dosyć udany – podopieczni Grahama uplasowali się na dziewiątym miejscu w tabeli końcowej. Po zakończeniu sezonu nie zdecydował się na parafowanie nowego kontraktu, uznał, że jego czas na The Den dobiegł końca. Zbudował bardzo dobrą drużynę bez wielkich gwiazd, należyty efekt osiągnął przez wpojenie swoim graczom żelaznej dyscypliny taktycznej, której podstawą była gra w defensywie.