Trompetista i director de big band, el 1924, la seva família es va instal·lar a Beaumont, Texas. Va ser aquí a principis de la dècada de 1930 que James va començar a tocar en bandes de ball locals quan tenia quinze anys. James tocava regularment amb la banda d’Herman Waldman, i en una actuació es va fer notar pel popular Ben Pollack.

El 1935 es va unir a la banda de Pollack, però va marxar a principis de 1937 per unir-se a l’orquestra de Benny Goodman, on va romandre fins al 1938. Va ser sobrenomenat The Hawk al començament de la seva carrera per la seva capacitat de llegir a primera vista.

La banda de James va ser la primera orquestra d’alt perfil que va comptar amb el vocalista Frank Sinatra.

Dotat d’un estil extravagant que utilitzava tècniques com el vibrato pesat, la mitja vàlvula i glissandi de llavis, els trins de vàlvules i llavis i els tremolos de vàlvules. Aquestes tècniques eren populars a l’època en el que es coneixia com a hot jazz, va caure una mica en desgracia als anys cinquanta amb l’arribada del cool.

Es va orientar cap a la música pop, tot i que amb mentalitat oberta i no va defugir el bop quan va aparèixer. Cap a la dècada dels cinquanta va tornar al jazz.

En el seu moment va ser infravalorat, però una revisió de la seva obra ha provocat noves anàlisis més favorables. El 2014, Marc Myers de JazzWax va comentar: La banda [de James] de mitjans dels anys quaranta era més moderna que la majoria de les majors, i el 1949 va dirigir una de les millors bandes de l’any.