En 1987 Matsutani Ken (g) decide dejar su banda White Heaven para formar un nuevo grupo. La primera formación de Marble Sheep incluía a muchos de los miembros de White Heaven que pronto dejaron la nueva banda. En sus primeros años grabaron varias maquetas, y pese a todo eran bastante desconocidos. Su primer album con el sello ALCHEMY RECORDS, con quien también trabaja la superestrella de Japan Noise Masonna, y que tubo a bandas como Angelin Heavy Syrup bajo contrato en la decada de los 90's.
Marble Sheep ganó algo de popularidad; pero poco después el único miembro que quedaba de la formación original era Ken. En 1992 CAPTAIN TRIP, (sello del cual Ken es director ahora) fue utilizado por primera vez, entonces era dirigido por Souichiro Nakamura (White Heaven). Al año siguiente, Marby, la mascota de la banda, creada por ellos mismos, hace su aparición, enamorando a la audiencia; desde entonces salía en casi todos sus directos. Aunque bastante famosos, el grupo se mantuvo bastante inactivo entre 1995 y 1999. Tan solo algunos conciertos y algún que otro disco.
En 1999 Ken se convierte en director de CAPTAIN TRIP y Marble Sheep retoma sus actividades , posteriormente, adquiere mayor popularidad que antes. Ese mismo año, todos los integrantes eran nuevos salvo Ken. Y en aquella época Miyazaki Rie entró en la banda y se ocupó del papel de Marby. Al principio era únicamente su mascota, pero a partir de 2000 comenzó a tocar la guitarra con el grupo. Un año después se convirtió en bajista. Hoy en día es la integrante más antigua, después de Ken, porque el resto de la formación cambia regularmente.
Sin embargo, dejar el grupo no significa que nunca se pueda volver. La mayoría de los miembros han formado parte de la historia de Marble Sheep en distintas temporadas, algunas veces por un solo año para marcharse al siguiente.
Dos de los actuales integrantes del grupo cumplen con dicho historial: Brown Nose tocó entre 2001 y 2002, y Arakawa Taro estuvo en activo entre 2002 y 2004. En el 2002, la banda tocó en un festival alemán, en él conocieron al grupo alemán de rock psicodélico Guru Guru, quienes ahora publican sus discos en Japón bajo el sello CAPTAIN TRIP.
En 2003 Marble Sheep firmó con la discográfica alemana FÜNFUNDVIERZIG, que puso sus álbumes a disposición de sus fans europeos. En 2004 la banda organizó un evento en Japón donde participó otro grupo alemán, Damo Suzuki Network. Y aunque anunciaron que realizarían una gira europea ese mismo año, se pospuso.
El año siguiente fue relativamente tranquilo para el grupo. El único hecho destacable fue la grabación de The Gate of a heavenly Body que salió a la venta en Alemania pero no en Japón.
En 2006 la banda recuperó su buena forma y realizó su primera gira europea. Durante el mes de marzo tocaron junto al grupo alemán Drive By Shooting por Alemania, Suiza y Dinamarca.
Para esta gira reclutaron a un Segundo batería, Sawada Morihide que es también miembro del grupo experimental Yozigenn. Ya que la gira fue un auténtico éxito decidieron volver a Alemania, y así lo hicieron, tras su primer concierto en Corea volvieron a tocar en tierras germanas en septiembre de 2006 .
Marble Sheep lleva en activo cerca de 20 años, en los cuales ha tocado sobre todo rock psicodélico. Su estilo está marcado por varias décadas de música; al escucharles, nos pueden venir a la memoria éxitos de las décadas de los 60 y los 70, como por ejemplo con la canción Wild Thing . Igualmente se pueden ver influencias de German Krautrock y algún otro estilo de música psicodélica. A menudo sus actuaciones se parecen más a una improvisación que un concierto normal.
Su música ha cambiado progresivamente con el paso de los años; desde piezas muy largas, a menudo de más de 20 minutos; a más cortas. Comparadas con la música comercial, aún las piezas más cortas son muy largas; pero la banda nunca ha pretendido que sus canciones fueran clasificadas dentro de la industria del entretenimiento.
Sus directos suelen tener alguna sorpresa espacial para sus fans. La sorpresa es la aparición de su mascota Marby (quien además es un miembro oficial de la banda). Marby se trata del bajista del grupo que toca mientras va disfrazado. Otro hecho interesante es que el grupo cuenta con dos baterías que tocan juntos durante las canciones y que, durante los descansos, gustan de competir entre ellos con increíbles solo de batería.
