Abans de dedicar-se completament al jazz, va dirigir durant breu temps alguns grups aficionats al Rhythm & Blues. La seva trobada a finals dels seixanta amb el compositor Stanley Crouch, que llavors dirigia el grup Black Music Infinit integrat entre altres per Wilbur Morris i James Newton, va ser decisiu per al rumb de la seva carrera professional.

El 1975 es va traslladar a New York seguint els consells de Cecil Taylor i allí va conèixer i va tocar amb el més selecte de l’escena novaiorquesa del jazz dels anys setanta: Oliver Lake, Julius Hemphill i altres músics associats al freejazz i components per aquella època del World Saxophone Quartet, on ell també va arribar a codirigir-ho en alguna ocasió.

El 1979, va formar un excel·lent octet que va començar a actuar com a versió reduïda de la seva orquestra doncs dempeus un any abans. En aquest format, David Murray, va trobar la millor combinació possible entre avantguarda i tradició negra.

És amb la fórmula de l’octet, on David Murray aconsegueix el que fins aleshores va ser la seva obra mestra, l’extraordinari àlbum: Hope Scope gravat per al segell italià Black Saint el 1987.

Murray va ser membre fundador del World Saxophone Quartet amb Oliver Lake, Julius Hemphill i Hamiet Bluiett.