Com acostuma a passar, si ets un geni, però t’avances massa, la teva vida pot esdevenir un desastre.

L’educació d’Ayler a l’església va tenir un gran impacte en la seva vida i música, i gran part de la seva música es pot entendre com un intent d’expressar la seva espiritualitat. Inclòs l’encertadament titulat Spiritual Unity i el seu àlbum d’espirituals, Goin’ Home., que presenta solos serpents que es volen tractar com a meditacions sobre textos sagrats, i en alguns moments com a parlar en llengües amb el seu saxo.  L’experiència d’Ayler a l’església i l’exposició als artistes de swing jazz també van afectar el seu so: el seu ampli vibrato era semblant al dels saxofonistes gospel, que buscaven un so més semblant a la vocal amb els seus instruments, i al dels músics de metall a New. Bandes de swing d’Orleans.

Ayler va intentar trobar feina a Los Angeles i Cleveland, però la seva interpretació cada cop més iconoclasta, que s’havia allunyat de l’harmonia tradicional, no va ser benvinguda pels tradicionalistes.

El 1963, Ayler va tornar als Estats Units des de Suècia,  i es va establir a la ciutat de Nova York, on va continuar desenvolupant el seu estil personal i de tant en tant va tocar al costat del pianista de free jazz Cecil Taylor.

Phil Hardy diu que Ayler va “desmantellar” la melodia i l’harmonia per explorar més profundament “les propietats físiques” del seu saxo. Ayler volia alliberar-se i alliberar-se dels seus companys de banda per improvisar, relacionar-se entre ells i relacionar-se amb els seus instruments a un nivell més cru, “primal”.

Cap moment de la seva carrera Ayler va permetre la comoditat d’un públic estable. Malgrat la recepció crítica en gran manera positiva, va romandre pobre durant tota la seva vida i sovint va buscar suport econòmic de la seva família i dels seus companys músics, inclòs Coltrane.