Pioner en la percussió de jazz, Jones va ser el líder de la secció rítmica de la Count Basie Orchestra de 1934 a 1948. De vegades se’l coneixia com a Papa Jo Jones per distingir-lo del bateria més jove, Philly Joe Jones .

Nascut a Chicago es va traslladar a Alabama, on va aprendre a tocar diversos instruments, com ara saxòfon, piano i bateria. Va treballar com a bateria i ballarí de claqué en espectacles de carnestoltes fins que es va unir a la banda de Walter Page, els Blue Devils a Oklahoma City a finals dels anys vint. Va gravar amb els Serenaders del trompetista Lloyd Hunter el 1931, i més tard es va unir a la banda del pianista Count Basie el 1934.

Jones, Basie, el guitarrista Freddie Green i el baixista Walter Page de vegades eren anunciats com una secció rítmica sense rival, un equip ideal. Jones va fer una breu pausa de dos anys quan era a l’exèrcit, però va romandre amb Basie fins al 1948.  Va participar en la sèrie de concerts Jazz at the Philharmonic.

Va ser un dels primers percussionistes a promoure l’ús de pinzells a la bateria i a canviar el paper del cronòmetre del bombo al charles. Jones va tenir una gran influència en percussionistes posteriors com Buddy Rich, Kenny Clarke, Roy Haynes, Max Roach i Louie Bellson. També va protagonitzar diverses pel·lícules, entre les quals destaca el curtmetratge musical Jammin’ the Blues (1944).