Se’l sol considerar com un dels membres de laÉs considerat un membre de la segona generació d’improvisadors lliures nord-americans.

Va fundar, el 1978, el segell Metalanguage Records amb Larry Ochs ( Rova Saxophone Quartet) i Greg Goodman. En 1979 va gravar l’àlbum With Friends Like These, amb Fred Frith, amb qui col·laboraria durant els vint anys següents. El 1983 van gravar Who Needs Enemies, i el 1987 With Enemies Like These, Who Needs Friends?.

Es van unir al músic experimental John French, i al folk rocker anglès Richard Thompson, per formar French Frith Kaiser Thompson, amb els quals van gravar dos àlbums, Live, Love, Larf & Loaf (1987) i Invisible Means (1990). Més tard, el 1999 Frith i Kaiser publicarien Friends and Enemies, un recopilatori d’algunes d’aquestes primerenques.

En 1991,Kaiser es va traslladar a Madagascar amb el seu amic David Lindley, romanent dues setmanes gravant amb músics malgaixos.D’aquí sortiria el seu treball A World Out of Time.

Des de 1998, Kaiser ha col·laborat amb el trompetista Wadada Leo Smith en el projecte “Jo Miles!”, publicant una sèrie de tributs al Miles Davis elèctric dels anys 1970.

El 2001, Kaiser va passar dos mesos i mig a l’Antàrtida. El seu treball com a càmera sota l’aigua va ser utilitzat en dues obres de Werner Herzog , The Wild Blue Yonder (2005) i Encounters at the End of the World (2007), produïdes per Kaiser i en què, juntament amb Lindley, va compondre la banda sonora. Kaiser també va produir la música de la pel·lícula de Herzog Grizzly Man (2005).