En gran part autodidacta, Montgomery va ser un important pianista de blues amb un estil original. També era versàtil, treballant en bandes de jazz, inclosos conjunts més grans que utilitzaven arranjaments escrits. No llegia música, però aprèn les rutines de la banda d’oïda.

Va començar a tocar el piano amb quatre anys, i als onze va marxar de casa durant quatre anys i va tocar als Barrelhouses de Louisiana. La ​​seva principal influència musical va ser Jelly Roll Morton, que solia visitar la casa de Montgomery.

A principis de la seva carrera, va actuar als camps afroamericans de fusta i trementina a Louisiana, Arkansas i Mississipí. Després va tocar amb les bandes de Clarence Desdunes i Buddy Petit. Va viure a Chicago de 1928 a 1931, tocant regularment en festes de lloguer, i Chicago va ser on va fer els seus primers enregistraments. De 1931 a 1938, va dirigir un conjunt de jazz, els Southland Troubadours, a Jackson, Mississipí.

Montgomery va fer diverses gires per Europa durant la dècada de 1960 i hi va gravar alguns dels seus àlbums. Va aparèixer a molts festivals de blues i folk durant la dècada següent i va ser considerat una llegenda viva , un vincle als primers dies del blues a Nova Orleans.