the Gospellers aloitti toimintansa vuonna 1991. Yhtyeen perusti ryhmä Waseda-yliopiston oppilaita, jotka kaikki kuuluivat myös a cappella -lauluklubi Street Corner Symphonyyn. File Records julkaisi yhtyeen ensimmäisen minialbumin, Down to Streetin, elokuussa 1994. Rattaat lähtivät pyörimään ja muutamien kokoonpanomuutosten jälkeen Ki/oon Records julkaisi bändin ensimmäisen singlen, Promisen, vielä saman vuoden joulukuussa. Tämä kappale edusti jo vahvasti the Gospellersin ominaista tyyliä; kappaleella oli kevyt taustamusiikki ja se koostui lähinnä a cappella -laulusta.
Bändi aloitti tiiviin julkaisutahdin julkaisten kolme tai neljä singleä vuodessa. Kappaleet olivat yleisesti ottaen erittäin laadukkaita, mutta siitä huolimatta yhtye huomiota vain kriitikoilta, ei yleisöltä. Joulukuussa 1998 suurenmoinen balladi Atarashii Sekai aloitti suunnanmuutoksen. Siitä lähtien The Gospellers keskittyi hitaisiin R&B-kappaleisiin: a cappella -laulu ja kappaleiden harmonia jäivät unohduksiin. The Gospellers muutti tyylinsä juuri oikeaan aikaan, saaden kiinni populäärimusiikkipiireissä vallitsevasta trendistä.
Bändin neljästoista single, vuonna 2000 julkaistu balladi Towani, toi mukanaan bändin ansaitseman menestyksen. Singlen avittamana yhtyeen kuudes albumi Soul Serenade saavutti vastaavanlaisen suosion. Näitä seuranneen julkaisun, Kohuhakun, modernimpi ja nopeatempoisempi soundi sen sijaan ei vastannut yleisön odotuksia yhtä hyvin. Seuraavalla Hitori-singlellään yhtye palasi takaisin alkujuurilleen tuottaen jälleen a cappella -kappaleen. Yllättäen suosio olikin valtava ja single päätyi Oricon-listan kolmannelle sijalle - koskaan ennen ei a cappella -kappale ollut yltänyt yhtä korkealle.
Kesäkuun 6. päivä vuonna 2001 ilmestyi balladeista koostuva best of -levy Love Notes ja sitä myytiin yli miljoona kappaletta. Myöhemmin samana vuonna yhtye kutsuttiin ottamaan osaa jokavuotiseen Kohaku Utagassen -tapahtumaan.
Näihin aikoihin bändi saavutti uransa suosiohuipun. Bändi työskenteli taukoamatta, julkaisten kaksi tai kolme singleä joka vuosi ja viimeistellen aika-ajoin myös muutaman albumin, kuten A Cappella (2002), joka nimensä mukaisesti koostui a cappella -lauluista, tai G10, kokoelma-albumi, jonka kappaleet valittiin faniäänestyksellä. Vuoden 2005 alussa julkaistiin paranneltu versio yhtyeen ensimmäisestä albumista Down to Street.
Huhtikuussa vuonna 2006 bändi osallistui Gosperats-nimiseen jazzhenkiseen projektiin yhdessä Rats&Stars jäsenien kanssa. Tässä bändissä laulajat käyttivät erityistä "blackface"-meikkiä, jonka tarkoituksena oli saada heidät näyttämään tummaihoisilta amerikkalaisilta. Tämä shokeerasi joitakin faneja ja etenkin länsimaalaisten ihailijoiden keskuudessa järkytyttiin syvästi. Kyseessä oli kuitenkin vain sivuprojekti ja sen jälkeen bändi jatkoi normaalilla tavallaan. Pian he julkaisivat singlen Hitotsuji no Kiseki/Kaze wo Tsukamaeten, joka saavutti jälleen innostuneen vastaanoton yleisöltä.
The Gospellers on menestynyt kansainvälisesti: heitä on pyydetty säveltämään kappaleita muille artisteille, laulamaan heidän kanssaan ja jopa tuottamaan heitä. Yhtyeen tyyli ei ole muuttunut vuosikymmeneen, tosin näiden esiintyjien ja säveltäjien taidokkuuden ansiosta asiassa ei olekaan paljoa valittamista.
