La société émiratie G42 met au point un grand modèle de langage d’IA en arabe

Ce projet est le fruit d’une convergence d’expertise, puisqu’une équipe dévouée de chercheurs et d’ingénieurs issus d’Inception, de l’université Mohamed bin Zayed d’intelligence artificielle (MBZUAI) et du fabricant de puces de la Silicon Valley, Cerebras Systems, a collaboré à la réalisation de Jais. Le grand modèle linguistique qui en résulte peut se targuer d’une configuration de 13 milliards de paramètres, dérivés d’un ensemble de données regroupant des éléments textuels en arabe et en anglais. “Le code donne au modèle une longueur d’avance en termes de capacités de raisonnement, car il énonce les étapes (logiques)”, a expliqué Timothy Baldwin, professeur à l’université Mohamed bin Zayed d’intelligence artificielle, à l’agence Reuters.

Jais, baptisé en l’honneur de la plus haute montagne des Émirats arabes unis, a subi un apprentissage approfondi sur un ensemble de données personnalisé, comprenant 116 milliards de tokens en arabe. Cet agrégat de données a été conçu pour englober les complexités et les subtilités inhérentes à la langue arabe. Il comprend également un vaste référentiel de 279 milliards de mots anglais, conçu pour améliorer les performances du modèle dans toutes les langues.

 

Aucune limite aux ambitions technologiques des Émirats arabes unis 

Le modèle Jais a été affiné grâce à un apprentissage sur le superordinateur de pointe de Cerebras, le Condor Galaxy. Mais les ambitions des Émirats arabes unis en matière d’IA sont loin d’être satisfaites. Les efforts du G42 en matière d’innovation dans le domaine de l’IA sont mis en évidence par l’acquisition de trois unités de superordinateurs de ce type auprès de Cerebras, la première unité devant être déployée cette année et les suivantes devant être livrées en 2024. En outre, en août de l’année précédente, G42 a créé un fonds de 10 milliards de dollars, en partenariat avec le Fonds de croissance d’Abou Dhabi (ADG), qui se concentre explicitement sur les investissements technologiques dans les marchés émergents. De plus, G42 s’est aligné sur diverses entités éminentes d‘Abou Dhabi, notamment la compagnie pétrolière nationale d’Abou Dhabi, le fonds d’investissement Mubadala et Etihad Airways, afin de tirer parti du potentiel de cette technologie.