Sam, w maju 1994 został mianowany wiceprzewodniczącym Partii Liberalnej i ministrem skarbu w gabinecie cieni.
W styczniu 1995 Downer zrezygnował z przywództwa. Costello nie kandydował na opuszczony urząd, tylko poparł Johna Howarda. W lipcu 2006 do opinii publicznej przedostały się informacje o spotkaniu Costello i Howarda w grudniu 1994, na którym obaj uzgodnili wspólne porozumienie i zasady podziału władzy w partii. Howard zgodził się zrezygnować z przywództwa w partii po 4,5 roku bycia premierem, w zamian Costello zobowiązał się do nieubieganie się w tym czasie o szefostwo liberałów. Po ujawnieniu tych informacji opinii publicznej, Howard zaprzeczył, jakoby powyższe ustalenia miały miejsce.
Minister skarbu Po wygranych wyborach przez liberałów w 1996, Costello w marcu tego roku objął stanowisko ministra skarbu. W czasie swoich rządów Costello zreformował system podatkowy, zmniejszył inflację i bezrobocie w kraju. Jest osobą najdłużej sprawującą ten urząd w historii Australii.
Z czasem między dwoma czołowymi politykami Partii Liberalnej pojawiły się konflikty.