Des chercheurs ont mis ChatGPT à l’épreuve en lui demandant de résoudre des problèmes qu’on retrouve dans les tests d’admission pour entrer dans les universités américaines. Le modèle GPT-3 s’en est très bien sorti, surpassant les étudiants participant à l’expérience.
Le chatbot d’OpenAI a le potentiel pour devenir un élève brillant. Déjà en début d’année, ChatGPT parvenait à faire mieux que les étudiants à des examens de médecine, de droit et d’économie. Tout récemment, l’agent conversationnel s’est distingué en réussissant haut la main des problèmes de raisonnement que l’on retrouve notamment dans le SAT Reasoning Test ; soit l’examen standard pour accéder aux universités américaines.
Le modèle GPT-3, qui propulse la version gratuite de ChatGPT, a été mis à l’épreuve par des psychologues de l’Université de Californie à Los Angeles. Ces derniers ont testé sa capacité à prédire l’image suivante dans un tableau complexe de formes. Pour ce faire, les images ont été converties en texte afin que le modèle de langage puisse les traiter. Les chercheurs se sont en outre assurés qu’il n’avait pas été soumis aux mêmes questions lors de sa formation.
ChatGPT fait mieux que les étudiants lors d’un test de raisonnement
Dans le même temps, 40 étudiants de premier cycle ont réalisé le même test. Résultat des courses, GPT-3 est parvenu à résoudre 80 % des problèmes, surpassant le score moyen des participants humains qui s’élevait à 60 %. Les chercheurs ont également demandé au chatbot de résoudre certaines questions analogiques. Il s’agissait de sélectionner des paires de mots liés d’une manière ou d’une autre. Une fois encore, ChatGPT a surpassé le score moyen des candidats à l’université.
En revanche, l’agent conversationnel a tiré la langue dans un autre test consistant à faire correspondre un passage en prose avec un texte court véhiculant le même sens. Ici, GPT-3 a fait moins bien que les étudiants. Pas de quoi lui enlever ses lauriers pour autant. L’étude a conclu que GPT-3 montrait une capacité “étonnamment forte” à repérer des modèles et à déduire des relations, “égalant voire même dépassant les capacités humaines dans la plupart des contextes”.
Devenu un outil prisé, ChatGPT est utilisé par de nombreux étudiants pour réviser ou rédiger des devoirs. De quoi changer totalement la donne : selon OpenAI, le chatbot a déjà commencé à révolutionner l’éducation.
Source : The Guardian
