Phil Alvin, el company de banda d’Allen a The Blasters, el va descriure com un dels instrumentistes més importants del rock’n’roll. El to distintiu d’Allen ha estat aclamat com un dels sons definitoris del rock’n’roll i una de les cadenes d’ADN del rock.

Allen va ser una figura clau del rock and roll de Nova Orleans dels anys cinquanta i va gravar amb molts intèrprets principals de l’era del rock and roll inicial. Es va retirar de la música a finals dels anys seixanta, però a finals dels setanta va tornar a actuar de manera intermitent fins al final de la seva vida.

El 1947, es va unir a la Paul Gayten Band i, més tard, a la Dave Bartholomew Band. Cal destacar els seus enregistraments amb els cantants Fats Domino i Lloyd Price. Allen també va ser el solista de saxo en la majoria dels èxits d’època de Little Richard de 1955 i 1956.

L’àlbum de 1972 Dr. John’s Gumbo del Dr. John inclou el treball de saxo d’Allen. També va aparèixer als àlbums de Buddy Miles en aquest període. Després que el revival del rockabilly va començar a finals de la dècada de 1970, els músics més joves van buscar el distintiu saxofon d’Allen. Va gravar amb els Stray Cats el seu segon àlbum, Gonna Ball (1981).

L’octubre de 1981, Allen va fer tres espectacles amb els Rolling Stones.