En 1987 Matsutani Ken (g) décide de quitter son groupe White Heaven parce quil veut en former un nouveau. La première formation de Marble Sheep est composé de quelques autres anciens membres de White Heaven qui avaient aussi décidé de quitter le groupe. Durant leurs premières années, le groupe enregistra quelques démos qui passèrent tout à fait inaperçues. Leur 1er album sortit en 1990 sur Alchemy Records, le label de la superstar de la Noise Japonaise Masonna, qui avait des groupes comme Angelin Heavy Syrup sous contrat.
Marble Sheep acquit une certaine popularité dans la scène mais après quelques changements de membres, Ken fut le seul rescapé du lineup original. En 1992, Captain Trip (la label dont Ken va devenir le manager) est crée, à cette époque sous le management de Souichiro Nakamura (White Heaven). Un an plus tard Marby, la propre mascotte du groupe et membre officiel apparaît pour la première fois. Parce quelle est appréciée par laudience, on la voit à presque chaque concert depuis. Bien quayant commencé à se faire connaître, le groupe est resté relativement inactif entre 1995 et 1999. A cette époque, il a seulement donné quelques concerts et sorti peu de CDs.
En 1999 Ken devient manager du Captain Trip et Marble Sheep devient actif à nouveau et par conséquent plus populaire que les années précédentes. Cette année encore, un tout à fait nouveau lineup est assemblé autour de Ken, le seul membre dorigine. Cest à ce moment-là que Miyazaki Rie devient membre du groupe et prend le rôle de Marby. Au début, elle nétait que la mascotte, mais en 2000, elle commença à jouer de la guitare dans le groupe. Un an plus tard, elle devient la bassiste, tout en gardant le rôle de Marby. A présent, elle est celle qui est le plus longtemps dans la groupe après Ken, parce que le reste du lineup continue à changer régulièrement.
Néanmoins, quitter le groupe ne signifie pas le faire à tout jamais ! A travers lhistoire de Marble Sheep, la plupart des membres réapparaissent plusieurs fois dans le lineup, certains revenant à peine un an après leur départ mais pour répartir à nouveau lannée suivante. Deux des membres actuels sont dans ce cas : Brown Nose qui a joué dans le groupe entre 2001 et 2002, et Arakawa Taro qui était un membre actif entre 2002 et 2004.
En 2002, le groupe joua à un festival allemand, où il a rencontré le groupe de rock psychédélique Guru Guru, qui sort maintenant ses CD au Japon grâce au label Captain Trip.
En 2003 Marble Sheep a signé un contact avec le label allemand fünfundvierzig, ce qui a rendu leur albums disponibles pour leurs fans européens. En 2004, le groupe a organisé un concert au Japon où il joua avec un autre groupe allemand, Damo Suzuki Network. Quoique Marble Sheep avait annoncé quil prévoyait de faire une tournée mondiale la même année, ce projet a été retardé.
Lannée suivante a été relativement calme pour le groupe. Seul fait intéressant, leur CD The Gate of a heavenly Body est sorti seulement en Allemagne et na pas de sortie japonaise.
En 2006, le groupe a repris du poil de la bête et a accompli sa toute première tournée en dehors du Japon à travers lEurope. Durant le mois de mars, ils ont fait quelques concerts avec le groupe allemand Drive By Shooting et sont passés en Allemagne, en Suisse et au Danemark.
Pour cette tournée, ils ont recruté un deuxième batteur Sawada Morihide qui fait aussi partie du groupe expérimental Yozigenn. Parce que cette tournée fut un grand succès pour le groupe, ils ont pris la décision de revenir de nouveau en Allemagne. Ainsi, après leur premier live en Corée, ils prévoient de jouer à nouveau sur les scènes allemandes en septembre 2006.
