Microsoft dévoile son nouveau modèle Phi-2

Microsoft présente Phi-2, un modèle révolutionnaire doté de 2,7 milliards de paramètres

Microsoft franchit un nouveau cap dans l’intelligence artificielle avec son modèle de langue Phi-2, doté de 2,7 milliards de paramètres. Ce modèle innovant redéfinit les normes de compréhension et de raisonnement linguistique, notamment parmi les modèles de moins de 13 milliards de paramètres.

 

Satya Nadella (CEO de Microsoft) annonce Phi-2 au Microsoft Ignite 2023 – Credits to Microsoft

 

S’inscrivant dans la lignée de ses prédécesseurs, Phi-1 et Phi-1.5, Phi-2 égale ou surpasse des modèles jusqu’à 25 fois plus volumineux. Cette prouesse est le fruit d’innovations dans les techniques de mise à l’échelle et la curation minutieuse des données d’entraînement.

La taille relativement compacte de Phi-2 en fait un outil de recherche idéal, ouvrant la voie à l’exploration approfondie de l’interprétabilité mécanique, l’amélioration de la sécurité, et la finesse de réglage sur diverses tâches.

Le succès de Phi-2 repose sur deux éléments clés :

1. Qualité des données d’entraînement :

Microsoft souligne l’importance cruciale des données d’entraînement de haute qualité pour la performance du modèle. Phi-2 utilise des données de “qualité manuelle”, axées sur des ensembles de données synthétiques conçus pour développer le raisonnement de bon sens et la connaissance générale. Le corpus est enrichi de données web sélectionnées pour leur valeur éducative et la qualité du contenu.

2. Techniques de mise à l’échelle innovantes :

Partant de son prédécesseur, Phi-1.5, Microsoft a mis en œuvre des techniques de mise à l’échelle novatrices. Le transfert de connaissances à partir du modèle à 1,3 milliard de paramètres accélère la convergence de l’entraînement, entraînant une amélioration significative des scores de référence.

Évaluation des performances

Phi-2 a été soumis à des évaluations rigoureuses sur divers benchmarks, y compris Big Bench Hard, le raisonnement de bon sens, la compréhension du langage, les mathématiques et la programmation.

Avec seulement 2,7 milliards de paramètres, Phi-2 dépasse des modèles plus volumineux, tels que Mistral et Llama-2, et égale ou surpasse le récent Gemini Nano 2 de Google :

Dans des scénarios du monde réel, Phi-2 démontre ses capacités. Des tests avec des invites couramment utilisées par la communauté de recherche révèlent l’expertise de Phi-2 dans la résolution de problèmes physiques et la correction d’erreurs d’étudiants, mettant en lumière sa polyvalence au-delà des évaluations standards.

Phi-2 est un modèle basé sur l’architecture des Transformers, entraîné sur 1,4 trillion de tokens issus d’ensembles de données synthétiques et web. Le processus d’entraînement, réalisé sur 96 GPU A100 pendant 14 jours, vise à maintenir un niveau élevé de sécurité et prétend surpasser les modèles open-source en termes de réduction de toxicité et de biais.

Avec l’annonce de Phi-2, Microsoft continue de repousser les frontières de ce que peuvent réaliser les modèles de base de langage plus compacts.

Lire d'avantage

AI Créative

Comment l’IA transforme le processus créatif dans le cinéma

L’IA révolutionne le cinéma en offrant aux créateurs un arsenal d’outils pour repousser les limites de la créativité. Découvrez comment cette innovation transforme chaque étape du processus créatif, de la scénarisation au marketing, en passant par les effets spéciaux époustouflants. Cette innovation offre des multitudes d’outils qui transforment cette industrie, permettant de créer des films plus immersifs, plus captivants et plus réussis que jamais.

AI dans la RH

Comment l’IA révolutionne-t-elle la fonction des RH ?

L’intelligence artificielle réinvente la gestion des ressources humaines en automatisant le processus de recrutement et en personnalisant la formation des employés. Découvrez comment ces avancées favorisent une meilleure allocation des talents et une gestion proactive des carrières