Kilka tygodni później Sampaoli objął inną peruwiańską ekipę – Sport Boys z miasta Callao, gdzie spędził półtora roku, nie odnosząc większych sukcesów, lecz regularnie plasował się z nią w górnej części tabeli. W 2004 roku został szkoleniowcem Coronelu Bolognesi z Tacny, z którym w sezonie 2005 zakwalifikował się do pierwszych międzynarodowych rozgrywek w swojej karierze, Copa Sudamericana. Tam jego zawodnicy odpadli w 1/16 finału po remisowym dwumeczu z wyżej notowanym chilijskim CSD Colo-Colo, późniejszym finalistą (rywal, mający w składzie m.in. Arturo Vidala i Alexisa Sáncheza, awansował dzięki bramkom strzelonym na wyjeździe). W styczniu 2007 objął pierwszy duży klub podczas swojej pracy jako trener – Sporting Cristal ze stołecznej Limy, zaliczany do „wielkiej trójki” peruwiańskiego futbolu. Tam zanotował jednak bardzo nieudany pobyt, w siedemnastu meczach zwyciężając zaledwie czterokrotnie i zajmując trzecie od końca miejsce w tabeli, przez co już w maju stracił pracę.