Va fer el seu primer enregistrament el 1927, amb una banda liderada pel baixista Eddie Condon. També apareix en sis discos de la banda de Thelma Terry el 1928. El 1929 es va mudar a Nova York i va treballar amb la banda de Red Nichols.

El 1934 es va unir a la banda de Benny Goodman, on la seva particular forma de tocar la bateria el va convertir en una celebritat nacional.

Molts el consideren  com el més influent bateria del segle XX. Especialment pel desenvolupament del mateix instrument. La fama li va arribar el 1935 en companyia de Benny Goodman, on va sobresortir com una autèntica estrella. Però sobretot pel seu ús del pedal del bombo de la bateria, i per la depurada tècnica del sock cymbal. Aquest particular mètode de tocar es va publicar el 1938 i es va convertir en un text estàndard per a l’estudi de l’instrument. De fet, el famós concert de Benny Goodman al Carnegie Hall va tenir en Krupa l’home clau per convertir-lo en l’èxit que va ser.

Va començar amb pràcticament els inicis del jazz.  Al llarg de la seva trajectòria va anar incorporant a la seva forma de tocar els nous estils que anaven sorgint. El 1978, Krupa es va convertir en el primer bateria que va ingressar en el Hall of Fame Modern Drummer.

Krupa ha estat citat com a font d’inspiració per molts bateries. Per exemple Doug Clifford, de Creedence Clearwater Revival i Peter Criss, de Kiss, que va participar en un seminari impartit pel mateix Krupa i fins i tot varen tocar junts. Rhythm, la revista de bateria més venuda del Regne Unit, va votar a Gene Krupa com el tercer bateria més influent de la història, en una enquesta realitzada per a la seva edició de febrer de 2009.

El seu disc Drummin man és considerat un dels grans discs de swing. Imprescindible escoltar un tastet.