Va ser un guitarrista de blues que va tocar amb els Blues Brothers i amb Howlin ‘Wolf. Va gravar a més amb Memphis Slim, James Cotton, Little Junior Parker, John Taylor, Sonny Boy Williamson II, Buddy Guy, Etta James i Otis Rush, entre d’altres.

El 1948, es va traslladar a Chicago, on es va unir a la Howlin’ Wolf Band, que en aquell moment comptava amb Little Junior Parker. El 1952, va gravar amb Little Junior Parker i Ike Turner, donant com a resultat el llançament, You’re My Angel/ Bad Women, Bad Whisky.

Va fer una actuació memorable l’any 1963 a la gira per Europa de l’American Folk Blues Festival amb el seu Matt’s Guitar Boogie.

A la dècada de 1970, Murphy es va associar amb l’harmònic James Cotton , gravant més de sis àlbums. Dan Aykroyd i John Belushi van assistir a una de les seves actuacions i posteriorment van demanar a Murphy que s’unís a la banda de gira de The Blues Brothers. Murphy va aparèixer a les pel·lícules The Blues Brothers (1980) i Blues Brothers 2000 (1998), interpretant el marit d’Aretha Franklin. Va actuar amb la Blues Brothers Band fins a principis dels anys 2000.