Va ser un saxofonista de jazz nord-americà que es va centrar en el saxo alt i soprano. Ocasionalment, també va tocar i gravar amb flauta i nadaswaram.

Va debutar el 1948 al costat del trompetista, Shorty Sherock, mentre estudiava a la Schillinger House actualment, la cèlebre i renomenada Berklee Scholl of Music.

Discogràficament, va debutar amb l’arranjador, Nat Pierce, amb qui va estar dos anys (1949 i 1950). Posteriorment, va treballar amb el grup de Chubby Jackson i de Bill Harris. Entre el 1953 i el 1955 va col·laborar amb l’orquestra del mestre, Stan Kenton, on va arribar a ser un dels seus grans instrumentistes. Posteriorment, es va traslladar a Los Angeles, on va contactar amb el grup del baterista, Shelly Manne i amb altres músics de la Costa Oest. Anys després es va unir a Charles Mingus, sota la direcció del qual va gravar Black Saint and Sinner Lady de 1963 i l’influent Mingus Mingus Mingus Mingus Mingus, del mateix any.

El 1959 va contreure matrimoni amb la pianista i compositora japonesa, Toshiko Akiyoshi, amb qui va formar un quartet al costat del contrabaixista, Gene Cherico i el baterista, Eddie Marshall. Després d’alguns anys de matrimoni, la parella es va separar, conjugal i musicalment, i Charlie va formar un nou quartet amb un altre saxofonista alt: Jerry Dodgion, però la seva carrera va començar a oferir símptomes de decadència.

Va viatjar per Europa i l’Extrem Orient, i a Alemanya va contactar amb músics joves i inquiets, les senyes dels quals d’identitat musicalment parlant, era la fusió del jazz amb el rock. Charlie Mariano, sempre va ser un músic valent, innovador i admirador de l’estil de Charlie Parker.

La seva inusual aplicació del nadaswaram, un instrument de vent clàssic de Tamil Nadu (un estat de la India), va ser una característica ocasional notable del seu treball als anys setanta.