Nel 1987 Matsutani Ken (g) decise di lasciare la sua band, i White Heaven poiché voleva formare un nuovo gruppo. La prima lineup dei Marble Sheep era formata principalmente da ex membri dei White Heaven che decisero subito di lasciare la nuova band. Nei primi anni di attività la band registrò qualche demo, ma rimase comunque nell’anonimato. Il loro primo album fu prodotto dall’Alchemy Records, l’etichetta della superstar giapponese del noise Masonna, che aveva band come gli Angel in Heavy Syrup sotto contratto nel 1990.
I Marble Sheep acquisirono un pò di popolarità all’interno della propria scena, ma dopo altri cambiamenti di formazione, Ken rimase l’unico della lineup originale. Nel 1992 venne usata per la prima volta la Captain Trip,(l’etichetta di cui Ken è ora il manager) , a quel tempo sotto il management di Souichiro Nakamura (White Heaven). Un anno dopo fu introdotta Marby, la mascotte ufficiale e parte integrante della band. Col fatto che era amata dal pubblico, da allora cominciò ad apparire in quasi tutti i live della band. Nonostante fossero abbastanza famosi, la band fu relativamente inattiva tra il 1995 e il 1999. Durante quel periodo, fecero solo alcuni concerti e pubblicarono ancora meno CD.
Nel 1999 Ken diventò il manager della Captain Trip, i Marble Sheep si riattivarono e successivamente diventarono ancora più popolari degli anni precedenti. Lo stesso anno, fu formata una lineup completamente nuova, con Ken come unico membro originale. Fu a questo punto che Miyazaki Rie fece ingresso nella band e prese il posto di Marby. All’inizio faceva solo la parte della mascotte, ma nel 2000 cominciò a suonare la chitarra per la band. Un anno dopo diventò la bassista della band, ma rimase comunque Marby. Oggigiorno è quella con più esperienza sulle spalle all’interno della band dopo Ken, poichè il resto della formazione cambia continuamente.
Tuttavia, lasciare la band non vuol dire che non si può più tornare! La maggior parte dei membri, nel corso della storia dei Marble Sheep, fanno parte della band diverse volte, qualche volta ritornano dopo solo un anno, per poi riandarsene l’anno seguente.
Due attuali componenti hanno una storia del genere: Brown Nose suonò con loro tra il 2001 e il 2002, e Arakawa Taro fu membro attivo tra il 2002 e il 2004. Nel 2002, il gruppo suonò a un festival tedesco, dove conobbero la band tedesca di rock psicadelico Guru Guru, che ora pubblica le uscite dei loro cd in Giappone sotto la Captain Trip.
Nel 2003 i Marble Sheep firmarono con l'etichetta tedesca fünfundvierzig, che fece diventare i loro album reperibili ai fan europei. Nel 2004, la band organizzò un evento in Giappone, dove suonò un’altro gruppo tedesco, i Damo Suzuki Network. Anche se i Marble Sheep annunciarono che ci sarebbe stato in programma un tour europeo lo stesso anno, fu cancellato.
L’anno seguente fu relativamente tranquillo per la band. L’unico fatto interessante fu che il loro disco, The Gate of a heavenly Body venne pubblicato in Germania, senza essere uscito in Giappone.
Nel 2006, fecero il vero e proprio primo tour fuori dal loro paese d’origine per andare in Europa. Nel corso del mese di marzo fecero diversi live insieme alla band tedesca Drive By Shooting attraverso la Germania, la Svizzera e la Danimarca.
Per questo tour, reclutarono un secondo batterista Sawada Morihide che è anche membro della band sperimentale Yozigenn.
Col fatto che il tour fu un grande successo per la band, decisero di tornare in Germania. E quindi dopo il loro ultimo live in Corea, hanno in programma di tornare in Germania nel settembre del 2006.
I Marble Sheep sono in circolazione da quasi 20 anni, per lo più suonando rock psichedelico. Per il loro stile prendono spunto da diverse decadi musicali, e quando si ascolta la loro musica, tornano alla mente le hit degli anni '60 e '70, per esempio,la canzone Wild Thing. Nello stesso momento si possono scorgere influenze del German Krautrock e altri vari stili di musica psicadelica. Spesso le loro performances dal vivo diventano più delle jam session che dei normali concerti.
La loro musica è progressivamente cambiata nel corso degli anni, da pezzi molto lunghi, che superavano spesso i 20 minuti, a pezzi più corti. Ma anche le canzoni corte, a confronto della musica commerciale, sono pezzi molto lunghi, ciò nonostante la band riesce a mantenerle interessanti.
Ai loro live show hanno spesso una sorpresa speciale per i loro fan. La sorpresa è l'apparizione della loro mascotte Marby (che è un membro ufficiale della band). Marby è solitamente il bassista in costume che suona sul palco nelle vesti del personaggio. Un altro fatto interessante è che la band ha due batteristi, che si esibiscono insieme durante le canzoni ma che, durante le pause, si divertono a competere tra di loro in gare di assoli di batteria.
