W kwietniu 1998 roku Eijun Suganami, który przeprowadził się do Tokio z prefektury Fukushima, przekonał przyjaciół: Masashiego Yamadę, Naokiego Hirabayashiego oraz Shinjiego Matsudę, by wspólnie z nim założyli zespół. Początkowo nazywali się Gyorai, ale potem zmienili nazwę na THE BACK HORN, która wzięła się od źle wypowiedzianej przez Matsudę frazy "The Back Hoe"(czyli pierwotnej nazwy, którą wybrali).
W sierpniu 1999 roku zespół zagrał swój pierwszy duży występ. Miało to miejsce na Fuji Rock Festival. Miesiąc później ukazał się pierwszy minialbum grupy, Doko e yuku, wydany pod skrzydłami wytwórni Kando Records. Nie tracąc czasu, zaledwie siedem miesięcy później THE BACK HORN wydał drugi album, Yomigaeru hi. Ostatnim jego wydawnictwem pod szyldem wspomnianej wytwórni był maksisingiel Fuusen z września 2000 roku. Kilka miesięcy później muzycy podpisali kontrakt z wytwórnią major Speedstar Records.
W następnym roku działalność zespołu została zahamowana. Mimo przejścia na major, jego skład zdecydował się w kwietniu opuścić Hirabayashi. Nastąpiło to zaraz po wydaniu debiutanckiego singla major Sunny. Mimo straty basisty w tak kluczowym momencie, zespół dał koncerty na kilku imprezach w sierpniu. Następnie wydany został drugi singiel, Sora, hoshi, umi no yoru, a zaledwie kilka miesięcy później ukazał się pierwszy album major, Ningen Program.
Mniej więcej w tym okresie do THE BACK HORN dołączył Koushu Okamine, zajmując pozycję wspierającego basisty. W 2002 roku pomagał przy nagrywaniu kilku kolejnych płyt, Sekaijuu no shita de oraz Namida ga koboretara, a podczas trasy promującej album Shinzou Orchestra ogłoszono Okamine oficjalnym członkiem zespołu.
Rok 2003 był dla zespołu pełen wrażeń. Reżyser Kiyoshi Kurosawa osobiście poprosił muzyków, by udostępnili jedną z piosenek do filmu "Akarui mirai". W rezultacie w styczniu 2003 roku wyszedł singiel Mirai. Ponadto, gdy w 2004 roku ukazał się oficjalny soundtrack do filmu "Casshern", Our Last Days, znalazła się na nim też piosenka THE BACK HORN. Film przyczynił się do wzrostu popularności samej grupy. Trzy miesiące później zespół wystąpił w Hibiyi na pierwszym z dwóch samodzielnych koncertów tego lata. Podczas tego występu zapowiedziany został następny singiel, Yume no hana, którego brzmienie okazało się znacznie dojrzalsze. To zdawało się cieszyć fanów, a w efekcie zespół zaczął występować na znaczących festiwalach, takich jak Rock in Japan.
Rok 2004 zakończył się wydaniem singla Cobalt Blue oraz DVD Bakuon yume hanabi, na którym znalazł się materiał ze wspomnianego już koncertu w Hibiyi. Kolejny rok rozpoczął się natomiast premierą następnego singla, Kizuna Song. Zaledwie trzy miesiące po nim ukazał się czwarty album grupy, Headphone Children. Ta ambitna, zróżnicowana płyta zawierała kolejny utwór wykorzystany w filmie - Kiseki pojawiło się w horrorze "Zoo". Popularność zespołu w ramach głównego nurtu gwałtownie wzrastała, czego efektem była niezwykle udana trasa promująca Headphone Children. Jej sukces podsunął pomysł na nagranie koncertowego albumu. Idea ta przyjęła postać Ubugoe Chainsaw, który zawierał nagrania z trasy o tej samej nazwie.
Pomimo niesamowitego sukcesu w kraju, zespół wciąż zwlekał z wyruszeniem do Europy, pojawiając się tylko na krótko w Hiszpanii. Po tej niewielkiej wycieczce, wrócił do Japonii na trasę koncertową. W grudniu 2005 roku wydał też maksisingiel Black Hole Birthday, pierwszy od jedenastu miesięcy.
Zespół dalej wydawał single i koncertował, m.in. Yamada i Suganami zagrali za darmo akustyczną trasę, w ramach której występowali na ulicach japońskich miast. W kwietniu 2006 roku ukazał szósty pełny album, Taiyou no naka no seikatsu, a po kilku następnych singlach w 2007 roku miał swoją premierę siódmy. W listopadzie 2007 ukazał się również singiel Wana, który wykorzystano w anime "Mobile Suit Gundam 00" jako ending. To nie tylko zapewniło zespołowi międzynarodowe rozpoznanie, ale też pozwoliło singlowi wspiąć się na dziewiątą pozycję w notowaniu Oriconu. Co więcej, album, na którym znalazła się ta piosenka, Pulse, zajął piąte miejsce w rankingu - najlepszy wyniki zespołu do tego momentu.
W 2008 roku ukazał się pierwszy album z najlepszymi przebojami, Best the BACK HORN, co miało uświetnić obchody dziesięciolecia grupy. Przypadkowo był to też rok, w którym wytwórnia, do której należał THE BACK HORNi, obchodziła piętnastą rocznicę działalności. Yamada podjął współpracę z kolegą z wytwórni Ayano Tsujim, występując z nim na imprezie zorganizowanej przez Speedstar Records, 15th Anniversary Live. Koncert wydano potem na DVD. Pod koniec roku zespół wykazał się niesamowitą pracowitością - w dwa miesiące dał ponad trzydzieści koncertów w ramach jednej trasy.
Październik 2009 roku przyniósł występ zespołu na 207 Man’nin no tensai. Kaze to Rock Festival Fukushima, u boku takich grup jak TOKYO No. 1 SOUL SET i Sanbomaster. W ramach tej imprezy członkowie występujących formacji dawali wspólne koncerty. Ponadto, w tym samym roku THE BACK HORN wydał kilka płyt DVD, po czym powrócił do tworzenia nowego materiału - w 2010 roku nagrał singiel Tatakau kimi yo, a także album Asylum, który dotarł na pierwsze miejsce notowania Oriconu.
W 2011 roku, po tragicznej katastrofie nuklearnej w elektrowni Fukushima Daiichi, członkowie THE BACK HORN zaangażowali się w wiele charytatywnych przedsięwzięć, by pomóc poszkodowanemu rejonowi, z którego pochodzili. Już 30 marca ukazał się singiel grupy Sekaijuu ni hanataba o, a dochód z jego sprzedaży został przekazany Czerwonemu Krzyżowi.
Oprócz tego, Matsuda założył Inawashirokos - zespół złożony z czterech muzyków z prefektury Fukushima, którego pozostali członkowie również pochodzili ze znanych formacji: Takashi Yamaguchi z Sanbomaster, Michiko Yanai z Kaze to Rock oraz Toshimi Watanabe z TOKYO No. 1 SOUL SET. 26 marca 2011 roku grupa ta wydała charytatywny singiel I love you & I need you Fukushima, by wesprzeć swoje miasto rodzinne. W teledysku do singla wystąpiło czterdziestu siedmiu aktorów i aktorek z różnych prefektur, śpiewających wspólnie i zachęcając kraj, by był solidarny w czasie kryzysu.
Latem 2011 roku THE BACK HORN ruszył w trasę. Wystąpił też we wrześniu na LIVE Fukushima Kaze to Rock SUPER Noumaoi, a cały dochód z tego koncertu został przekazany na rzecz poszkodowanych w wyniku katastrofy. Matsuda działał też dalej z Inawashirokos.
Marzec 2012 roku przyniósł nowy singiel, Sirius, a pochodząca z niego piosenka Clinic została wykorzystana w reklamie marki kosmetyków "SAVE WOMAN". Singiel ten znajdzie się również na zapowiedzianym na czerwiec albumie Live Squall.
