Va començar com a pianista abans d’aprendre a tocar el clarinet i els diferents tipus de saxòfons. Amb tot, la seva reputació va ser inicialment com a arranjador. El 1944 va escriure diversos arranjaments per a l’orquestra radiofònica de Johnny Warrington i, a continuació, va contribuir a l’obra de Tommy Tucker i George Paxton. El 1946 es va unir a l’orquestra de Gene Krupa com a arranjador. En les poques ocasions en què va tocar amb Krupa, ho va fer com a saxo alt, igual que quan va estar amb Claude Thornhill el 1948.

La seva primera interpretació notable com a saxo baríton la va realitzar amb el grup de Miles Davis. Per als enregistraments de Birth of the Cool (1948-50). Però de nou els seus arranjaments Godchild ,Darn That Dream i tres dels seus originals  Jeru Rocker i Venus de Milo van ser més significatius que els seus sols.

Gràcies a la seva versatilitat estilística, Mulligan va poder tocar amb tots els músics que admirava: Harry Carney, l’orquestra de Duke Ellington, Thelonious Monk, Paul Desmond, Stan Getz, Ben Webster i Johnny Hodges. Gerry Mulligan tocaria també en el clàssic televisiu Sound of Jazz, un especial musical de 1958 i apareixeria també en pel·lícules com I Want to Live and The Subterraneans.