A nou anys, Gordon es va inspirar molt en la cançó d’Elvis Presley Heartbreak Hotel que sonava a la ràdio i va decidir seguir una carrera com a músic de rock and roll.

Juntament amb Elvis Presley, les influències de Gordon durant la seva infància i adolescència van incloure Gene Vincent i Eddie Cochran, entre altres artistes de rock ‘n’ roll notables de l’època.

Gordon va debutar discogràficament a disset anys, el 1964, amb un grup anomenat The Confidentials. També va actuar activament amb The Newports durant l’adolescència.

El 1970, Gordon ja s’havia traslladat amb la seva família a la ciutat de Nova York amb la intenció de dirigir una botiga de roba. La seva atenció es va centrar en l’escena punk rock de la discoteca CBGB . Es va convertir en membre de la banda de punk-pop Tuff Darts .

Durant el 1976, els Tuff Darts van gravar All for the Love of Rock and Roll, Head over Heels i Slash per a un àlbum recopilatori anomenat Live at CBGB’s , que incloïa diverses altres bandes locals de Nova York. Gordon també va aparèixer en una pel·lícula d’estil punk/ new wave titulada Unmade Beds, un homenatge a Jean-Luc Godard del cineasta underground Amos Poe. La cantant principal de Blondie, Deborah Harry, i el pintor Duncan Hannah també van aparèixer a la pel·lícula.

Sempre al peu del canó, el 1978, Gordon va fer un segon àlbum amb Wray, per a Private Stock anomenat Fresh Fish Special. El disc incloïa The Jordanaires, que havien estat coristes de Presley, i incloïa la cançó de Bruce Springsteen Fire. Springsteen va tocar els teclats a la cançó.