La version originale de cette histoire est apparu dans Combien de magazine.

Les grands modèles de langue fonctionnent bien parce qu’ils sont si grands. Les derniers modèles d’Openai, Meta et Deepseek utilisent des centaines de milliards de «paramètres» – les boutons réglables qui déterminent les connexions entre les données et sont modifiés pendant le processus de formation. Avec plus de paramètres, les modèles sont mieux en mesure d’identifier les modèles et les connexions, ce qui les rend plus puissants et précis.

Mais cette puissance a un coût. La formation d’un modèle avec des centaines de milliards de paramètres prend d’énormes ressources de calcul. Pour former son modèle Ultra Gemini 1.0, par exemple, Google aurait dépensé 191 millions de dollars. Les grands modèles de langue (LLM) nécessitent également une puissance de calcul considérable chaque fois qu’ils répondent à une demande, ce qui les rend notoires de porcs énergétiques. Une seule requête à chatgpt consomme environ 10 fois Autant d’énergie qu’une seule recherche Google, selon le Electric Power Research Institute.

En réponse, certains chercheurs pensent maintenant petits. IBM, Google, Microsoft et OpenAI ont tous des modèles de petits langues (SLM) récemment publiés qui utilisent quelques milliards de paramètres – une fraction de leurs homologues LLM.

Les petits modèles ne sont pas utilisés comme outils à usage général comme leurs plus grands cousins. Mais ils peuvent exceller sur des tâches spécifiques et plus étroitement définies, telles que le résumé des conversations, la réponse aux questions des patients en tant que chatbot de soins de santé et la collecte de données dans des appareils intelligents. « Pour beaucoup de tâches, un modèle paramètre de 8 milliards de dollars est en fait assez bon », a déclaré Zico Kolterun informaticien à l’Université Carnegie Mellon. Ils peuvent également fonctionner sur un ordinateur portable ou un téléphone portable, au lieu d’un énorme centre de données. (Il n’y a pas de consensus sur la définition exacte de «petite», mais les nouveaux modèles sont tous maximaux d’environ 10 milliards de paramètres.)

Pour optimiser le processus de formation de ces petits modèles, les chercheurs utilisent quelques astuces. Les grands modèles grattent souvent les données de formation brutes sur Internet, et ces données peuvent être désorganisées, désordonnées et difficiles à traiter. Mais ces grands modèles peuvent alors générer un ensemble de données de haute qualité qui peut être utilisé pour former un petit modèle. L’approche, appelée Distillation des connaissances, obtient le modèle plus large pour transmettre efficacement sa formation, comme un enseignant donnant des leçons à un élève. « La raison (SLMS) devient si bonne avec de si petits modèles et si peu de données est qu’ils utilisent des données de haute qualité au lieu des trucs désordonnés », a déclaré Kolter.

Les chercheurs ont également exploré des moyens de créer de petits modèles en commençant par de grands et en les réduisant. Une méthode, connue sous le nom d’élagage, consiste à supprimer des parties inutiles ou inefficaces réseau neuronal—Le étendue du réseau de points de données connectés qui sous-tend un grand modèle.

L’élagage a été inspiré par un réseau neuronal réel, le cerveau humain, qui gagne en efficacité en snippant les connexions entre les synapses en tant qu’âge une personne. Les approches d’élagage d’aujourd’hui remontent à Un article de 1989 dans lequel l’informaticien Yann LeCun, maintenant à Meta, a fait valoir que jusqu’à 90% des paramètres d’un réseau neuronal formé pourraient être supprimés sans sacrifier l’efficacité. Il a qualifié la méthode de «lésions cérébrales optimales». L’élagage peut aider les chercheurs à affiner un petit modèle de langue pour une tâche ou un environnement particulier.

Pour les chercheurs intéressés par la façon dont les modèles de langue font les choses qu’ils font, les petits modèles offrent un moyen peu coûteux de tester les idées de nouvelles. Et parce qu’ils ont moins de paramètres que les grands modèles, leur raisonnement pourrait être plus transparent. « Si vous voulez faire un nouveau modèle, vous devez essayer des choses », a déclaré Leshem Choshenun chercheur scientifique au MIT-IBM Watson AI Lab. «Les petits modèles permettent aux chercheurs d’expérimenter avec des enjeux inférieurs.»

Les grands modèles coûteux, avec leurs paramètres toujours croissants, resteront utiles pour des applications telles que les chatbots généralisés, les générateurs d’images et découverte de médicaments. Mais pour de nombreux utilisateurs, un petit modèle ciblé fonctionnera tout aussi bien, tout en étant plus facile pour les chercheurs de former et de construire. « Ces modèles efficaces peuvent économiser de l’argent, du temps et du calcul », a déclaré Choshen.

Histoire originale réimprimé avec la permission de Combien de magazine, une publication éditoriale indépendante du Fondation Simons dont la mission est d’améliorer la compréhension du public de la science en couvrant les développements de la recherche et les tendances des mathématiques et des sciences physiques et de la vie.