S'ennuyant de leur seul travail au bureau, Naoko Yamano (chant) et Michie Nakatani (basse) ont décidé de former un groupe en 1981 pour passer le temps. Puis, en répondant à l'annonce de sa propre soeur qui cherchait un batteur, Atsuko Yamano rejoint le duo.
Quelques mois plus tard, au printemps 1982, Shonen Knife fait son premier concert dans sa ville, au Studio One d'Ôsaka. Bien que seulement trente-six personnes y aient assisté, celui-ci marque un tournant dans la carrière du groupe, puisque peu après le label Zero Records signe un contrat avec les membres du trio.
Comme leurs disques commencent à être distribués, certains sont vendus à l'étranger, notamment aux Etats-Unis où ils sont très bien appréciés. En 1985, le label américain indépendant K est le premier à sortir les albums du groupe hors du Japon. Un autre label américain, Subversive Records, voyant le potentiel du trio, sort leur second album en 1987.
Alors qu'il est encore 'underground' et inconnu au Japon, Shonen Knife voit sa popularité exploser aux Etats-Unis. Ainsi a lieu un premier concert à l'étranger en 1989, où les fans demandent plusieurs rappels et crient les titres des chansons. Vivant quelque chose qu'il n'avait jusqu'alors jamais connu, le groupe tient absolument à revoir régulièrement ses fans. En novembre, trente artistes occidentaux participent à un album, Every Band Has a Shonen Knife Who Loves Them, rendant hommage au trio féminin en reprenant certains de leurs titres.
En 1991, il attire l'attention de Nirvana. Après avoir fait la première partie de la tournée au Royaume-Uni de ce mythique groupe, Shonen Knife continue avec sa propre tournée anglaise, avant de rejoindre Nirvana pour une tournée à travers le Japon.
Gagnant en popularité, les membres signent leur premier contrat major aux Etats-Unis avec Capitol Records, avant de changer pour Virgin l'année suivante. Avec la sortie de leur album Rock Animals, le groupe sort aussi un clip pour Tomato Head. Celui-ci est diffusé sur MTV aux Etats-Unis et apparaît dans l'émission phare de la chaîne, Beavis and Butthead.
Peu après, des propositions de major affluant de partout dans le monde, les membres du groupe font finalement de leur passe-temps un travail à plein temps. Rapidement elles font leur première tournée en Europe, assistent au New Music Seminar de New York en 1992, et en 1994 apparaissent dans diverses émissions radio et télévisées aux Etats-Unis comme le Conan O'Brien Show.
En plus de faire une chanson pour l'album 'hommage' aux Carpenters, Shonen Knife voit une de ses musiques utilisée pour le générique du film américain Last Supper. Certaines de ses chansons sont aussi dans des publicités de Microsoft. Mais ce n'est pas tout : en 1998 Shonen Knife, à partir du quartier général de Microsoft aux Etats-Unis, tient un concert diffusé partout dans le monde via Internet.
Un an plus tard, pour la première fois la formation change quand Michie part en décembre 1999. Atsuko joue alors à la fois de la basse et de la batterie jusqu'en 2001, date à laquelle le batteur de session Mana Nishiura entre dans le groupe; et Atsuko ne se concentre alors plus que sur la basse. Mais Mana quitte elle aussi le groupe, puis, en 2005, elle est la victime d'un accident tragique. Mana décède dans un accident fatal dans le New Jersey lors de la tournée avec DMBQ aux Etats-Unis. A titre d'hommage, DMBQ et Shonen Knife font un concert en son honneur.
Peu de temps après, le batteur de session, Etsuko, devient un membre à part entière du groupe tandis que Atsuko annonce son départ en 2006. Depuis, elles ont fêté leurs 25 ans et sont toujours aussi fortes qu'auparavant; Naoko assure à elle seule le chant, les instruments à cordes et le clavier.
En octobre 2008, est officiellement annoncée l'intégration de la bassiste Ritsuko Taneda au sein du groupe, qui était membre de session depuis deux années. Dans la foulée sort un nouvel album, Super Group, dont la promotion amène Shonen Knife à revenir en Europe après 15 ans d'absence, et à se produire pour la toute première fois à Paris.
