Penicillinin alkuperäinen kokoonpano oli Gisho (laulu), O-Jiro (rummut) ja Chisato (kitara). Myöhemmin, kun Hakuei liittyi bändiin, Gisho siirtyi soittamaan bassoa. Kaikki bändin jäsenet tunsivat toisensa jo high schoolin ajoilta. Bändissä kakkoskitaristina oli myös jonkin aikaa Shaisuke (ex-Baiser, kuoli auto-onnettomuudessa vuonna 2001). Bändin ensimmäinen live-esiintyminen oli vuonna 1992.
Ensimmäinen mini-albumi, Penicillin Shock, julkaistiin 1994. Levyn tuottajana toimi Spread Beaverin Kiyoshi (jonka kanssa Hakuei myöhemmin perusti bändin machine) .
Muutamaa kuukautta myöhemmin julkaistiin bändin toinen albumi, Missing Link. Se menestyi paremmin kuin edellinen ja oli ensimmäinen iso harppaus Penicillinin uralla.
Vuonna 1995 yhtye julkaisi God of grindin. Tällä levyllä oli samat kappaleet kuin Penicillin Shockilla, lukuunottamatta yhtä uutta bonus-kappaletta. Samana vuonna he julkaisivat kaksi mini-albumia. Bändi nousi pikkuhiljaa suositummaksi indies-piireissä.
Vuonna 1996 julkastiin Indwell, joka on todella erikoinen albumi: sen kaikki kappaleet ovat intrumentaaleja ja jokaiseen kappaleeseen kuuluu video yhdestä bändin jäsenestä. Indwellistä oli saatavilla siis myös VHS, joka sisälsi nämä PV't.
Vuonna 1998 Penicillin julkaisi kaksi uutta albumia, Limelightin ja Ultimate Velocityn, jotka muistuttivat hieman jo musiikin valtavirtaa. Tästä eteenpäin heidän hurja tyylinsä alkoi pikkuhiljaa normalisoitua. Samana vuonna he esiintyivät Hamlet Rock Operassa, joka pohjautui Shakespearen kuuluisaan tarinaan. VHS:llä ilmestyneen näytelmän lisäksi julkastiin tietenkin myös soundtrack.
Vuotta myöhemmin ilmestyi bändin ensimmäinen kokoelma-albumi,This is Penicillin 1994~1999 ja se sisälsi kaksi levyä.
Union Jap julkaistiin vuonna 2000. Muutamaa kuukautta myöhemmin ilmestyi myös single fukai no suna, josta oli neljä eri versiota, yksi kullekin bändin jäsenelle.
Seuraavana vuonna bändi julkaisi Singles-albumin, joka nimensä mukaisesti sisälsi kaikki siihen mennessä ilmestyneet singlet. Samanaikasesti julkaistiin myös samanniminen DVD, jolla oli kyseisten singlejen musiikkivideot.
Vuodesta 2002 vuoteen 2005, Penicillin ei julkaissut paljoakaan singlejä. Heidän vimeisin täysin uusi albuminsa, HELL BOUND HEART, ilmestyi marraskuussa 2005 . Levyllä on paljon heavy-vaikutteisia rock-kappaleita, mutta myös joitain balladeja.
Vuonna 2006 Penicillin juhlisti 14-vuotista uraansa 14. helmikuuta Shibuya O-Eastillä erityisellä ystävänpäivä/syntymäpäivä-konsertilla. He ilmoittivat silloin myös seuraavasta julkaisustaan, singlestä tuski senko terusta.
Tämän jälkeen, syksyllä 2006, Penicillin on julkaissut vielä toisenkin single-kokoelman sekä uuden singlen hyper chord / hyper kids ~Tokai Daigaku Monogatari~:n.
