O te' foi formado em Tóquio, em janeiro de 2004, pelo guitarrista Kono. Os outros membros - hiro (guitarra), masa (baixo) e tachibana (bateria) - logo se uniram a ele, e a banda deu início a suas atividades musicais pouco tempo depois. Eles pareceram ter uma harmonia instantânea, já que, logo após sua formação, eles começaram a fazer shows para platéias entusiasmadas que esgotaram seu primeiro CD demo quase instantaneamente. O primeiro lançamento do te', um maxi-single, aconteceu oito meses depois, em setembro, pela gravadora independente Zankyo. A banda foi encorajada e promovida pela loja de CDs Tower Records, em Tóquio, o que os ajudou a atrair muito mais fãs. Nessa época, o te' começou a ganhar sucesso com a crítica, e, quase exatamente um ano após seu primeiro lançamento, Naraba, imi kara kaiho sareta hibiki wa "oto" no sekai no shinen wo kataru, seu primeiro álbum, chegou às prateleiras. Logo após o lançamento, a banda passou por um período bem-sucedido em turnê pelo Japão.
Em março de 2006, o te' foi convidado para tocar no primeiro festival "independence D" em Tóquio, na frente de dez mil pessoas. Ao mesmo tempo, a banda relançou seu primeiro álbum nos Estados Unidos, remasterizado com faixas adicionais, e fez uma longa turnê promocional, conseguindo mais fãs pelo caminho. Outro single Kotoba wo mochiite kanaderu mono wa saino ni arazu, tada no kioku ni "su" ginu, chegou às lojas em junho. O te' ganhava mais popularidade tanto em sua terra natal como em outros países, e, em novembro, a banda foi convidada para se apresentar com a famosa banda instrumental do Reino Unido 65daysofstatic.
2007 trouxe o lançamento do segundo álbum da banda, Sore wa, nari hibiku sekai kara genjitsuteki na oto wo "uta" ou to suru shikou, além de seu primeiro DVD ao vivo, gravado em uma turnê one-man pelas maiores cidades japonesas. Quase não houve pausa antes da banda seguir para Taiwan para se apresentar no MegaPort Festival 2007.
No início de 2008, o te' seguia em velocidade máxima e apareceu em um evento especial no LIQUIDROOM, junto com VOLA & THE ORIENTAL MACHINE, ART-SCHOOL e OCEANLANE. Os ingressos para o evento esgotaram antecipadamente. Mais aparições em festivais se seguiram, incluindo outra viagem a Taiwan para o famoso evento FORMOZ, e uma participação no RISING SUN ROCK FESTIVAL, em Ezo, Japão. Em outubro, seu terceiro álbum, Mashite, kokoro to gokan ga icchi surunara subete saijou no "ongaku" ni henzuru, foi à venda, seguido por um one-man no Shibuya CLUB QUATTRO. O ano terminou com a banda construindo sua reputação em shows ao vivo e lançamentos regulares, para a alegria de seus tantos fãs pelo mundo.
