Nachdem er seine Thrash Metal Band SALEM aufgelöst hatte um Doom Metal zu spielen, gründete Mikami Tatsu das neue Projekt, das er Church of Misery taufte und übernahm den Part des Bassisten. Offiziell begann die Band ihre Aktivitäten Anfang 1996 als sie erstmals auf die Bühne stiegen, doch traf Tatsu die ersten Vorbereitungen bereits ein halbes Jahr vorher. Für die anderen Positionen holte er sich Asaeda Kazuhiro (Vo.), Nishimura Tomohiro (Gu.) und Shimizu Hideki (Dr.). Ihr erstes Konzert gab die Band am 18. Februar 1996. Danach begaben sich die vier ins Studio wo sie an Liedern arbeiteten, die für ihr erstes Album geplant waren. Aus unbekannten Gründen wurde es danach sehr still um die Band.
1997 tauchten die aufgenommenen Lieder in Amerika unter dem Namen "Volume 1" auf. Jedoch stellte sich schnell heraus, dass das von Doom Records veröffentlichte Album ein Bootleg war. 1998 meldete sich die Band Live zurück und hatte über das Jahr verteilt gleich vier Veröffentlichungen für ihre Fans, darunter eine selbstveröffentlichte Live-Kassette auf der je zwei Songs ihres Twomans mit Millarca, einer weiteren japanischen Doom-Metal Band, waren. Die in der Abwesenheit vollzogene Umbesetzung bot einen neuen Sänger: Chou Nobukazu. Die Besonderheit sämtlicher CDs war die Tatsache, dass die Lieder zwar in Japan aufgezeichnet, jedoch von ausländischen Labels veröffentlicht wurden um Kosten zu sparen.
1999 erschien nur ein Split Album mit den aus England stammenden Iron Monkey, welches in Amerika von Man’s Ruin Records vertrieben wurde. Dank der weltweiten Kooperationen mit diversen Labels, tauchten ihre Lieder auch auf einigen italienischen Omnibus Alben auf. Ihre Berühmtheit stieg stetig, doch dann nahm sich, wie es scheint, die Band erneut eine Pause, in der wieder der Sänger und erstmals der Drummer ausgetauscht wurden. Narita Junji wurde der Nachfolger von Hideki hinter dem Schlagzeug. Der Neue hinter dem Mikrofon, Negishi Yoshiaki, war auch gleich für den Gesang auf dem Mini-Album "Master of Brutality" verantwortlich. Wie so viele ihrer CDs wurde auch diese in Amerika gepresst und konnte in Japan nur als Import erworben werden.
Für das 2002 in Finnland gepresste "Boston Strangler" änderte sich die Besetzung erneut. Der Gitarrist Nishimura verließ die Band und wurde vor den Aufnahmen zum Album durch Takenori Hoshi ersetzt. Doch auch in dieser Formation blieb die Band nicht allzu lange. Bereits Anfang 2003 meldete die Band den Ausstieg von Sänger Negishi und da man nicht auf Anhieb einen neuen fand, wurde die Band kurzzeitig pausiert. In dieser Pause startete Tatsu zusammen mit dem gegangenen Negishi das Side-Project The G.A.T.E.S., das nach gerade mal einem Auftritt wieder aufgelöst wurde, und mit anderen Musikern das Projekt Sonic Flower gegründet wurde. Außerdem erschien ein weiteres Split Album, diesmal mit Acrimony, welches Material aus den Anfängen der Band enthielt, bei dem noch der erste Sänger Asaeda am Mikrofon war.
Im August gab die Band bekannt, dass fortan Fukazawa Hideki, ehemaliger Sänger der Punkband Bleed for Pain, für den Gesang zuständig sein würde. Mit ihm wurde 2004 das Album "The Second Coming" aufgenommen, dieses enthielt nach längerer Zeit wieder neues Material, gleichzeitig war dies die erste CD die in Japan gepresst wurde. Außerdem erschien in dem Jahr das erste Best of. 2005 machte die Band ihre Fans in Europa glücklich, als sie sich entschied erstmals eine Tournee quer über den Kontinent zu veranstalten. Nach der Rückkehr in die Heimat reanimierte Tatsu seine alten Projekte Sonic Flower und The G.A.T.E.S. (The God Admires The Evil Soul). Es scheint, dass auch Hideki ein Projekt namens S.c.U.M. (Society Confronts Unknown Madness) startete und sich hinter die Drums setzte. Church of Misery stellte jedoch ihre Aktivitäten nicht ein und gab auf der Homepage bekannt, 2006 wieder nach Europa zurückkehren zu wollen.
Im Frühjahr 2006 gab die Band über ihr Label bekannt, dass Takenori Hoshi im April aussteigen würde und begab sich auf die Suche nach einem Nachfolger. Die Gründe für den Ausstieg waren wie so oft unbekannt. Für ihn kam der westliche Musiker Tom "Satan" Sutton in die Gruppe, die fortan wieder zu ihrer alten Aktivität zurückfand. Sie spielte zahlreiche Konzerte, wurde öfters nach Europa eingeladen, wobei es auch einige Konzerte gab die wieder abgesagt wurden. Im April 2008 waren CoM dann wieder auf dem alten Kontinent. Neben einem Auftritt in den Niederlanden, wurde recht kurzfristig auch ein Auftritt in Deutschland gegeben. Danach zog sich die Band in ein Studio in Den Haag zurück, um dort ihr drittes Album aufzunehmen. Das Ergebnis dieser Zeit wurde unter dem Titel "Dennis Nilsen EP" im Herbst veröffentlicht.
