Fill del guitarrista Bucky Pizzarelli, John va començar a cantar amb el seu pare a vint anys i va fer la seva gravació de debut el 1983 amb I’m Hip – Please Don’t Tell My Father. Com a guitarrista, manifesta influències de Les Paul i Django Reinhardt.

El 1993 el John Pizzarelli Trio va fer de teloner en una de les últimes gires de Frank Sinatra, arribant a participar en la celebració del 80 aniversari d’aquest al Carnegie Hall. El 1997 va participar en la producció de Broadway Dream, un homenatge al compositor Johnny Mercer. El seu disc de 1998 Meets the Beatles, el presenta reinterpretant cançons clàssiques del grup de Liverpool, i a l’any següent va retre homenatge a una de les seves més grans influències, Nat King Cole, amb PS Mr. Col·le .

Des de llavors, ha enregistrat un disc amb el pianista George Shearing i ha celebrat els seus deu anys de música amb el seu trio enregistrant un disc en directe Live at Birdland el 2003.