Va actuar com a músic de sessió per a molts músics de jazz durant la dècada de 1950, com ara Louie Bellson, Artie Shaw’s Gramercy Five, Eddie Bert, Herbie Mann, Mat Mathews , Chris Connor, Paul Quinichette, Lee Konitz i Dick Hyman; també va gravar extensament com a líder en aquesta època. A la dècada de 1960, va treballar amb Morgana King, Bobby Hackett , Gary Burton i Carmen McRae, i entre 1972 i 1977 ell i Chuck Wayne van dirigir un conjunt. Va continuar actuant i ensenyant fins a finals de la dècada de 1990.

Va tenir una carrera discreta,però va ser estable des del punt de vista de la seva qualitat. Joe Puma provenia d’una família de músics.