Jak sam mówi, wszystkie „dzieciaki z sąsiedztwa” na niej grały i „wydawało się to niezłą zabawą”. Nie bez znaczenia była tutaj również pasja do muzyki, którą zaraził się od starszej siostry.
Wśród twórców i zespołów, od których John czerpał swe wczesne inspiracje byli m.in. Yngwie Malmsteen, Iron Maiden, Randy Rhoads, Yes, Stevie Ray Vaughan. Był zafascynowany wysokim poziomem technicznym gry wielu z nich. Gdy w USA upowszechnił się nurt zwany thrash metalem, Petrucci interesował się twórczością zespołów takich jak Metallica czy Queensrÿche. Szybko jednak okazało się, że granie ich utworów nie sprawia trudności młodemu gitarzyście, skupił więc swoją uwagę na stylu gry takich wirtuozów, jak m.in. Steve Morse, Steve Vai, Joe Satriani, Mike Stern, Eddie Van Halen, Al di Meola, Alex Lifeson.
Właściwą edukację muzyczną rozpoczął w szkole średniej, gdzie dostał parę solidnych lekcji z dziedziny teorii muzyki. Następnie w Berklee College of Music studiował harmonię i kompozycję jazzową. Tam poznał Mike'a Portnoya i wraz z nim oraz Johnem Myungiem założyli zespół Majesty, później przemianowany na Dream Theater.