Bateria i vocalista nord-americà en actiu des de finals de la dècada de 1950. Lay va començar la seva carrera el 1957, com a bateria dels Original Thunderbirds.  Aviat es va convertir en el bateria de Little Walter.

A principis dels seixanta, Lay va començar a gravar i interpretar amb destacats músics de blues, com Willie Dixon, Howlin ‘Wolf, Eddie Taylor, John Lee Hooker, Junior Wells, Bo Diddley, Magic Sam, Jimmy Rogers , Earl Hooker i Muddy Waters. Els enregistraments Lay fet durant aquest temps, juntament amb l’àlbum de Waters, Fathers and Sons, gravat el 1969, es consideren entre les obres definitives de Waters and Wolf.

A mitjan dècada de 1960, Lay es va unir a la Paul Butterfield Blues Band i va enregistrar i va fer una gira extensament amb ells. Bob Dylan va contractar a Lay com el seu bateria quan va introduir el rock elèctric al Newport Folk Festival en 1965. Lay també va gravar amb Dylan, sobretot en l’àlbum Highway 61 Revisited.