El duo va començar de forma independent, gravant música en soterranis i produint els seus propis àlbums al seu Ohio natal, abans d’emergir com una de les bandes més populars de garatge rock a la dècada de 2010. El so cru de blues rock de la banda està relacionat directament amb les influències d’Auerbach, incloent-hi a Howlin’ Wolf i Robert Johnson.

Amics des de la infància, Auerbach i Carney van formar el grup després d’acabar els estudis. El nom de la banda es va inspirar en un artista amic del grup que patia d’esquizofrènia i que feia servir el terme black keys per descriure les persones que no estaven del tot bé. Un doble significat també es pot interpretar com el fet que les tecles negres (black keys) d’un piano comprenen l’escala pentatònica del meu bemoll menor, que s’associa freqüentment amb el blues i el rock.

Van publicar el seu àlbum debut, The Big Come Up el 2002, seguit per Thickfreakness el 2003, el qual els va aconseguir un nou segell, Fat Possum Records.

Durant la dècada següent, els Black Keys van formar una base d’admiradors amb extenses gires en petits clubs, les seves freqüents publicacions d’àlbums i les seves aparicions en festivals de música. El seu tercer àlbum, Rubber Factory publicat el 2004, va rebre bones crítiques i va millorar la imatge de la banda, portant-los a signar un contracte amb el segell Nonesuch Records el 2006.

Han telonejat diversos grups com Beck i Radiohead, han sortit de gira amb altres com Sleater-Kinney i van participar al festival Lollapalooza de 2005.

Robert Plant, Billy Gibbons de ZZ Top així com Thom Yorke, Jonny Greenwood de Radiohead són fans de The Black Keys. Kirk Hammett , el guitarrista de Metallica també ha declarat en una entrevista que gaudeix de la seva música.