Va ser el primer trombonista a abraçar el bop i es va mantenir després de forma ininterrompuda com una de les principals figures del jazz posterior al swing, exercint una important influència en altres músics de jazz.

Va ser un dels primers músics del jazz modern que es van fer famosos durant la dècada de 1940 i va destacar especialment com a representant de l’anomenada tercera corrent, que fusionava la música clàssica amb el jazz.(Third Stream)

Johnson va formar un quintet amb el trombonista Kai Winding realitzant llargues gires i gravant diversos discos d’èxit. Johnson també va gravar molts discos com a solista, i va ser un acompanyant de molts enregistraments clàssics de jazz. Diverses de les seves composicions, entre elles Wee Dot, Lament, i Enigma són considerades estàndards del jazz.

El 1970 va deixar de tocar en públic, cosa que mantindria durant disset anys fins a la seva tornada a la fi dels anys 1980. Des de mitjans de la dècada de 1950, Johnson va ser un perenne favorit en les enquestes dels cercles jazzístics, obtenint títols com el de «Trombonist of the Year» de la revista Down Beat. Fins i tot en anys en què no va estar actiu. Situat dins del Hall of Fame de Down Beat el 1995, la carrera de J.J. Johnson es va estendre al llarg de cinquanta-quatre anys, des de 1942 a 1996.

Per fer-nos una idea de la seva talla musical els crítics el consideren el “Bird” del trombó.

El 2001 es va suïcidar amb un tret després d’haver deteriorat la seva salut.