Va ser un guitarrista de jazz nord-americà. Durant la dècada de 1950, va estar en un trio amb el pianista Oscar Peterson. El 1943, es va unir a Glen Gray i a la Casa Loma Orchestra, i va ser amb la banda de Gray que va obtenir el seu primer reconeixement a les revistes de jazz. Després de la banda de Gray, es va unir a la banda de Jimmy Dorsey on va tocar alguns dels seus primers solos gravats. Ellis va romandre amb Dorsey fins al 1947, viatjant i gravant àmpliament, i tocant a sales de ball i palaus de cinema.

Es va unir a l’Oscar Peterson Trio (en substitució de Barney Kessel ) el 1953,formant el que Scott Yanow es referiria més tard com “un dels més memorables de tots els trios de piano, guitarra i baix en la història del jazz”.

Ellis es va fer famós després d’actuar amb l’Oscar Peterson Trio de 1953 a 1958, juntament amb el pianista Peterson i el baixista Ray Brown. Va ser un membre una mica controvertit del trio, perquè era l’única persona blanca del grup en una època en què el racisme encara estava molt estès.

El trio va ser un dels pilars dels concerts de Jazz at the Philharmonic de Granz , ja que van arrasar el món del jazz, quasi constantment fent gires pels Estats Units i Europa.