Va ser un destacat líder de big band, compositor, clarinetista, saxofonista i trompetista, conegut per compondre els temes I’m a Glad There is You (in This World of Ordinary People) i It’s the Dreamer in Me.

Amb el seu germà Tommy al trombó, va formar els Dorsey ‘s Novelty Six, una de les primeres bandes de jazz que van tocar per la ràdio.

El 1924 va entrar a formar part dels Califòrnia Ramblers. En la dècada de 1920 va treballar per a la ràdio i per als estudis de gravació com a artista independent.

A causa d’una disputa musical amb el seu germà, Tommy va formar el 1935 la seva pròpia banda. Autor d’innombrables èxits. El 1953 els germans Dorsey van tornar a treballar junts, i entre 1954 i 1956 varen tenir un programa fix de varietats on va intervenir diversos cops un jove Elvis Presley.

Jimmy Dorsey és considerat un dels més influents saxofonistes de l’era del Swing i de les Big Band, sent esmentat per Charlie Parker com el seu artista favorit.