Nascut en una família de tradició musical (els seus dos pares cantaven), la infància de Murphy va transcórrer a Siracusa, Nova York, on va aprendre des de molt jove a tocar el piano i on va començar els seus estudis de cant i teatre.

A mitjan dècada de 1960 Murphy comença a viatjar a Europa, on la seva música sembla tenir millor acceptació. Allí efectua diversos enregistraments en segells britànics com Fontana Records o Immediate Records, a més de col·laborar amb la Clarke-Boland Big Band a la seva Midnight Mood (1967) i efectuar nombroses aparicions en diverses sales de concerts, la qual cosa li permeten establir-se entre els noms més grans del Vell Continent. Quan torna als Estats Units a principis de la dècada de 1970 ho fa ja convertit en una de les figures més importants del jazz vocal de la seva època.

Mark Murphy semblava l’únic cantant de jazz masculí d’interès durant les dècades de 1970 i 1980, una època marcada per la crisi del corrent mainstream.