ChatGPT est utilisé partout à l’université, parfois jusqu’à écrire des articles scientifiques de doctorants. Malheureusement pour les tricheurs, de nombreux détecteurs d’IA commencent à voir le jour, notamment celui-ci qui excelle en chimie.
En septembre, après plusieurs mois de vache maigre, ChatGPT remontait enfin la pente grâce à la rentrée scolaire. Que ce soit au lycée ou à l’université, le chatbot est plébiscité par les élèves et étudiants. Et ce jusqu’au plus haut niveau d’études, la thèse : certains doctorants emploient l’intelligence artificielle (IA) pour écrire leurs articles de recherches, ce qui n’est pas du goût de la communauté scientifique.
Cet outil détecte les articles scientifiques sur la chimie écrits par l’IA
Pour les débusquer, un nouvel outil apprentissage automatique permet de repérer facilement les articles scientifiques rédigés à l’aide de ChatGPT. Une étude publiée le 6 novembre dans Cell Reports Physical Science démontre de son efficacité. Ce détecteur est spécialisé en chimie et aurait surpassé deux détecteurs d’IA existants dans cette tâche.
Grâce au machine learning, ce détecteur examine 20 caractéristiques du style d’écriture afin de déterminer si c’est un humain ou ChatGPT qui a écrit un texte sur la chimie :
- La variation de la longueur des phrases.
- La fréquence de certains mots.
- Les signes de ponctuation.
Testé sur des introductions écrites par des personnes et sur des introductions générées par l’IA à partir des mêmes revues scientifiques, l’outil a identifié les sections écrites par GPT-3.5 sur la base des titres avec une précision de 100 %. Pour les introductions générées par ChatGPT basées sur des résumés, la précision était légèrement inférieure, à 98 %.
À lire > ChatGPT est un formidable outil pour l’enseignement selon OpenAI
Pourquoi spécialiser ce détecteur d’intelligence artificielle en chimie ?
Les résultats montrent qu'”il est possible d’utiliser un petit ensemble de caractéristiques pour obtenir un haut niveau de précision“, indique Heather Desaire, chimiste à l’université du Kansas et coauteur de l’étude. “La plupart des spécialistes de l’analyse de texte souhaitent disposer d’un détecteur très général qui fonctionnerait avec n’importe quoi“. Mais en créant un outil qui se concentre sur un domaine en particulier, “nous visions vraiment la précision” explique-t-elle.
Selon l’universitaire, ces résultats indiquent que le développement de détecteurs d’IA devraient être adapté à certaines matières et domaines scientifiques. “Si l’on peut développer un détecteur rapidement et facilement, il n’est pas difficile de construire quelque chose de différent pour chaque domaine“, écrit la chimiste dans l’article. Voilà qui pourrait infirmer les déclarations d’OpenAI, qui affirmait que les professeurs ne sauront jamais si les élèves trichent.
Source : Science Direct
