Selon les chercheurs des universités de Stanford University et Berkeley, l’intelligence de ChatGPT est en chute libre. Le chatbot serait plus “stupide” avec une baisse de la qualité de ses réponses dans de nombreux domaines sur une très courte période de temps.
ChatGPT s’améliore au fil des mises à jour. Prochainement, le chatbot sera capable de se souvenir de qui vous êtes grâce à une fonctionnalité de contextualisation. Mais selon les chercheurs des universités de Stanford et Berkeley, l’agent conversationnel ne s’améliore pas pour autant. Au contraire, son intelligence décline, la qualité de ses réponses est en chute libre.
À lire > ChatGPT vs Google Bard : duel d’IA, quel est le meilleur chatbot ?
Une chute de la qualité des réponses en peu de temps
Selon une étude publiée le mardi 18 juillet, ChatGPT ne cesse de perdre en intelligence. D’après les chercheurs, les réponses de l’agent conversationnel déclinent en qualité entre mars et juin 2023.
Les chercheurs sont arrivés à cette conclusion en comparant la pertinence des réponses de GPT-3.5 et GPT-4. Des questions ont été posées dans plusieurs domaines comme les mathématiques, le codage voire le raisonnement logique. Les chercheurs ont également abordé des sujets sensibles. Selon eux, « le comportement de ChatGPT-3.5 et GTA-4 change énormément sur une très courte période ».
Preuve de l’énorme baisse de la précision des réponses, ChatGPT-4 était précis à hauteur de 97,6% dans l’indentification des nombres premiers en mars 2023 contre 2,4% en juin 2023. Tandis qu’au contraire, ChatGPT-3.5 se montre plus performant entre la première et la seconde période.
Pour le codage, les erreurs ont augmenté pour ChatGPT-3.5 et GPT-4 entre ces deux périodes. Idem pour les réponses aux questions sensibles.
Dans les deux cas, les erreurs et les imprécisions augmentent, preuve que l’intelligence artificielle perd en qualité avec le temps ? Pour rappel, sa popularité est en berne depuis plusieurs semaines.
À lire > WormGPT : le ChatGPT malveillant qui sème la terreur sur le Web
Quelles sont les recommandations face à cette baisse de qualité ?
Face à cette baisse de la qualité des réponses de ChatGPT, les chercheurs recommandent aux entreprises qui ont intégré l’intelligence artificielle à leurs modèles d’être prudentes. Des erreurs s’y glissent et une telle baisse de la pertinence des informations en si peu de temps mérite une surveillance accrue.
OpenIA dément que ChatGPT soit plus stupide dans un tweet publié avant la sortie de cette étude. Selon l’un des responsables, les réponses sont moins précises car… vous utilisez bien plus l’intelligence artificielle qu’autrefois et vous remarquez des fautes qui passaient autrefois inaperçues.
À lire > ChatGPT : les 10 plugins qui vont vous changer la vie.
