Ella i Lil Hardin Armstrong sovint es classifiquen com dues de les millors pianistes de blues i jazz femenins de l’època.

Va estudiar teoria de la música a la Universitat Roger Williams i al Knoxville College de Knoxville, Tennessee, cosa que no era habitual per a la dona afroamericana i els músics de jazz durant el temps.

Va dirigir la seva pròpia banda, els Blues Serenaders, que generalment incloïen els trompetistes Tommy Ladnier, Bob Shoffner, Natty Dominique o Shirley Clay en corneta, Kid Ory o Albert Wynn en trombó, i Jimmy O’Bryant o Johnny Dodds en clarinet, juntament amb banjo i tambors ocasionals. Els Blues Serenaders van desenvolupar el seu propi so únic dins del gènere jazzístic. Es van allunyar del paradigma típic de la banda de jazz.

Austin va treballar amb molts altres músics de jazz de la dècada de 1920, incloent-hi Louis Armstrong, amb qui va treballar en la cançó Heebie Jeebies. Les habilitats d’Austin com a compositor es poden escoltar en el clàssic Down Hearted Blues, una melodia que va escriure juntament amb Alberta Hunter. Bessie Smith va convertir la cançó en un èxit en 1923.