Guitarrista de blues, la seva confirmació va arribar el 1957 quan Howlin Wolf convida Allison a entrar a la seva banda. Després Freddie King el va prendre sota la seva protecció quan va aconseguir un contracte de gravació important.

Allison toca amb la banda de King la zona oest de Chicago. Treballa el circuit de clubs durant els últims anys cinquanta i primers seixanta i grava el seu primer àlbum en solitari el 1965. Signa amb Delmark Records el 1967 i publica el seu àlbum de debut, Love Me Mama, l’any següent.

Era conegut pels seus concerts potents, amb llargs solos de guitarra emocionals i les seves improvisacions amb el seu Gibson Les Paul.