В 2001 году вокалист Hime (бывший участник ISOLA) и клавишник Hora (бывший участник Velvet Eden) сформировали visual kei дуэт Rudolf Steiner. Чтобы выразить концепцию «декаданса ближайшего будущего», они решили, что основой их музыки станет электронный звук. Эта концепция также отразилась на их макияже и костюмах, на которые повлияла готик и фетиш мода и эстетика Alien H.R. Giger'a. Группа выпустила две демо-записи: Perfect Garden и Queen of Decadence, но контракт на запись оставался неподписанным вплоть до 2002 года. Их уникальный стиль привлек внимание Mana (Moi dix Mois, бывший участник Malice Mizer), который взял их на свой независимый лейбл Midi:Nette и изменил их название на Schwarz Stein.
Дуэт дебютировал с новым названием в июле 2002 года на вечеринке Midi:Nette Dis Inferno I, где выступали на разогреве Moi Dix Mois, а также участвовали в показе мод коллекции Mana Moi-même-Moitié. Примерно в то же время Hime официально меняет свое имя на Kaya. Их появление на Dis Inferno I совпало и с релизом их первого сингла Perfect Garden,который спродюсировал Mana. Теперь, будучи в центре внимания, они быстро стали популярны и на visual kei, и на японской готик сцене, продолжая играть с Moi dix Mois, а также выступая с сольными концерты. В октябре они приняли участие в Tokyo Goth & Darkwave Festival 05, это стало их достижением, несколько омраченным соперничеством между японской готик и visual kei сценами.
В марте 2003 года Schwarz Stein выпустили свой первый альбом New Vogue Children, за которым последовал второй сингл, оба были спродюсированы Mana. Появления в известных японских музыкальных журналах, таких как Shoxx, UV и Fool’s Mate, сопровождалось интервью на телевизионной программе Hot Wave, которая часто приглашает visual kei музыкантов. В декабре они вновь выступили на вечеринке Midi:Nette Dis Inferno II вместе с Moi dix Mois и участниками групп Lareine, Fatima и Brain Hacker.
Несмотря на растущую популярность, в феврале 2004 года Schwarz Stein объявили, что группа будет распущена после выпуска их второго альбома Artificial Hallucination (первый релиз, спродюсированный ими самими), из-за межличностных и музыкальных разногласий. В последнем интервью Hora объявил о своем уходе со сцены, тем самым заявив, что хочет сконцентрироваться на работе композитора. Они отыграли последний концерт 29 марта, но потом в декабре «воссоединились» на время из-за очередной вечеринки Midi:Nette Dis Inferno Party III, где Hora объявил о выпуске своего первого соло-альбома.
Несмотря на творческие разногласия, Kaya и Hora остались друзьями. В апреле 2006 года они вновь объединились для временного проекта ANOTHER CELL и выпустили одноименный альбом, для которого Hora написал музыку и немного лирики. Кроме новых композиций, альбом также содержит аранжировки песен Rudolf Steiner и музыку сольного проекта Hora. В июне 2006 ANOTHER CELL был представлен на концерте как часть первого концерта Kaya в качестве сольного исполнителя, хоть и без Hora, которого так и не уговорили выйти из самостоятельно назначенной себе «отставки».
