O Concerto Moon foi fundado no outono de 1995 por Takao Ozaki (vocais), Norifuri Shima (guitarra) e Kosaku Mitani (baixo). Seu primeiro show aconteceu somente um ano depois, em Osaka.
Com Osamu Harada no teclado e Kichioka Nobuho na bateria, sua primeira formação estava completa, e a banda lançou seu primeiro álbum em abril de 1997. Live Concerto foi, como o próprio nome indica, um álbum ao vivo e limitado a 500 cópias.
Após uma pequena mudança, com Nobuho sendo substituído por Ichiro Nagai, a banda entrou em estúdio para gravar Fragments of the moon, lançado três meses depois. O CD apareceu na lendária revista BURRN!, alcançando a primeira posição em seu ranking de álbuns.
Harada deixou a banda e, em janeiro de 1998, Toshiyuke Koike se uniu à banda como seu novo tecladista (como Shima e Mitani, ele também é ativo na banda Double Dealer). Pouco tempo depois, seu primeiro vídeo ao vivo foi lançado. Em VHS era possível ver 60 minutos de seu show no dia 9 de agosto de 1997, quando o tecladista suporte ainda era Masatoshi Taguchi, do ROXCY).
A partir de então, os cinco metaleiros estabeleceram seu nome e assinaram um contrato com a VAP Records (Animetal, Galneryus, Gun Dog, Zwei). Nessa gravadora eles lançaram seu primeiro álbum major, From Father To Son, em julho de 1998. Após o lançamento de Fragments of the Moon -Special Edition- em novembro (incluindo três faixas bônus), eles saíram em turnê com a banda de metal finlandesa Stratovarius.
Em 1999, outros três CDs se seguiram, Time To Die, Rain Forest e um álbum ao vivo. Além disso, a banda lançou seu segundo vídeo ao vivo em março de 2000.
Um ano depois, em abril, a gravadora alemã Limb Music lançou o álbum The End of the Beggining apenas na Europa. O álbum continha músicas ao vivo tiradas de seu show no Shibuya O-WEST, que aconteceu no dia 18 de setembro de 1999, e um CD bônus com vídeos ao vivo. Três semanas antes, outros três álbuns da banda foram lançados pela Limb Music: Fragments of the Moon, From Father To Son e Rain Forest.
Em 2001, Ozaki deixou a banda e foi substituído por Takashi Inoue. Gate of Triumph foi lançado em agosto do mesmo ano.
Uma mudança de formação depois (Nagai deixou a banda, que recebeu Junichi Sato), o Concerto Moon lançou outros três alguns entre 2002 e 2003 - Destruction of Creation, Life on the Wire e o álbum ao vivo Once in a Life Time.
Ainda em 2003, Mitani e Sato cederam sés lugares para Takanobu Kimoto e Shoichi Takeoka, o que leva o Concerto Moon a sua formação atual.
Em junho de 2004, a banda lançou o mini-álbum Concerto Moon e, em julho, o álbum After the Double Cross chegou às lojas, cujo segundo CD consistia de covers do Deep Purple, Alcatrazz, Brian May e Rainbow.
A partir de então, a banda ficou em silêncio por um longo período, já que Shima, que produzia a maior parte dos CDs do Concerto Moon, e Koike ficaram ocupados com seu trabalho no Double Dealer.
Em 2008 a banda retornou com o box DECADE OF THE MOON ~10th Anniversary Special Box~, que contou com três CDs e um DVD, e o álbum Rise From Ashes chegou às lojas no dia 23 de julho do mesmo ano. Logo depois, nos dias 27 e 28 de julho, o Concerto Moon se apresentou pela primeira vez nos Estados Unidos, em São Francisco. Seu último lançamento até o momento é o álbum From the Tomb to the Womb, que chegou às lojas no dia 17 de dezembro de 2008.
