Une équipe de chercheurs a comparé quatre modèles de langage de grande taille, dont Google Gemini Pro et GPT-4, d’OpenAI. Les résultats sont sans appel : le modèle d’OpenAI surpasse celui de Google dans tous les domaines.
Google a voulu rivaliser avec OpenAI dans le domaine des modèles de langage de grande taille (LLM) avec sa nouvelle intelligence artificielle Gemini, présentée en novembre 2023. Mais une nouvelle étude montre que la version la plus puissante de Gemini disponible pour les consommateurs, Gemini Pro, est bien moins performante que GPT-4 d’OpenAI.
L’étude a été publiée hier sur arXiv.org, un site scientifique en libre accès. Elle a été menée par une équipe de chercheurs de l’Université Carnegie Mellon et une entreprise, appelée BerriAI.
Gemini Pro fait moins bien que GPT 3.5 Turbo, mais mieux que Mixtral
Les chercheurs ont testé quatre LLM différents : Google Gemini Pro, OpenAI GPT-3.5 Turbo, GPT-4 Turbo et Mixtral 8x7B, le nouveau modèle open-source de la start-up française Mistral. Ils ont utilisé un site d’agrégateur d’IA, LiteLLM, sur une période de 4 jours, du 11 au 15 décembre 2023. Pour rappel, la version gratuite de ChatGPT utilise GPT-3.
Ils ont soumis tous les modèles à un ensemble d’invites différentes, couvrant des domaines tels que les sciences humaines, les sciences sociales, le raisonnement, les mathématiques, la programmation et la traduction.
Les résultats sont sans appel : Gemini Pro atteint une précision comparable, mais légèrement inférieure, à celle de GPT 3.5 Turbo, et beaucoup plus faible que celle de GPT-4 Turbo, selon l’étude. Gemini Pro a montré des faiblesses dans le réarrangement des mots, la production de symboles, la résolution de questions à choix multiples, la compréhension de requêtes complexes, le codage et la navigation web.
Gemini Pro a toutefois surpassé GPT 3.5 Turbo dans quelques tâches, comme le tri des mots, la manipulation des symboles, la sécurité, la microéconomie et la traduction. L’IA de Google a tout de même surpassé Mixtral dans toutes les tâches examinées.
OpenAI, toujours numéro un en IA générative ?
Google a vite réagi à l’étude, affirmant que Gemini Pro surpassait GPT-3.5. Ils n’ont pas hésité à rappeler qu’une version plus puissante, Gemini Ultra, devrait sortir début 2024, avec des performances supérieures à GPT-4, selon leurs évaluations internes. Rappelons que Google avait admis que sa démonstration de Gemini était truquée.
Malgré tout, l’étude représente un défi pour les ambitions de Google dans la course à l’IA générative. OpenAI rester leader dans ce domaine et à ce jour, le professeur Ethan Mollick, de la Wharton School, qui a participé à l’étude, estime que GPT-4 reste la meilleure option.
