Va ser un pianista, compositor i lletrista nord-americà de boogie-woogie. Un dels pioners d’aquest estil de piano. Provenia d’una saga musical, ja el seu pare i germà també eren músics. Quan tenia deu anys, Yancey havia fet una gira pels Estats Units com a ballarí de claqué i cantant. A vint anys ja havia girat per Europa. Va començar a tocar el piano a l’edat de quinze anys, i el 1915 havia guanyat un perfil suficient per influir en músics més joves, com Meade Lux Lewis i Albert Ammons.

Jimmy tocava en un estil boogie-woogie, amb una figura forta i repetida a la mà esquerra i una decoració melòdica a la dreta, però el seu toc era més delicat i subtil que no pas dur. Va popularitzar la figura de la mà esquerra que es va fer coneguda com el baix Yancey, més tard utilitzada a Blues After Hours de Pee Wee Crayton, The Things That I Used to Do de Guitar Slim i moltes altres cançons.

Els seus primers enregistraments, l’any 1939, van crear un gran enrenou en els cercles del blues i el jazz. Va fer la majoria dels seus enregistraments en solitari, però més tard en la seva carrera va gravar amb la seva dona, Estelle Yancey , cantant, com Jimmy i Mama Yancey. Van aparèixer en concert al Carnegie Hall el 1948, i van gravar el seu primer àlbum el 1951, publicat per Atlantic Records l’any següent. Durant la Primera Guerra Mundial, Yancey va jugar a beisbol amb els Chicago All-Americans, un equip de beisbol de la lliga negra.