Les progrès de l'intelligence artificielle sont incroyables. Nous ne savons toujours pas où peuvent être les limites et si un jour il sera complètement impossible de distinguer une création faite par une IA d'une création humaine dans des sujets tels que les textes ou l'art.
En attendant cette hypothèse où les limites entre les créations de l'un et de l'autre s'estompent, ce que nous pouvons faire maintenant est d'essayer de savoir si un texte a été écrit par un humain ou par une IA.
Détecter le texte saisi par l'IA
OpenAI a publié un classificateur de texte AI qui tente de détecter si le contenu d'entrée a été généré à l'aide d'outils d'intelligence artificielle comme ChatGPT. "Le classificateur de texte AI est un modèle GPT ajusté qui prédit la probabilité qu'une IA ait généré un texte à partir de diverses sources, telles que ChatGPT », explique un nouveau billet de blog OpenAI.
OpenAI a lancé l'outil après que de nombreuses universités et districts scolaires aient interdit le populaire chatbot alimenté par l'IA de l'entreprise, ChatGPT, en raison de sa capacité à étudiant complet des devoirs, tels que la rédaction de critiques de livres, d'essais et même la réalisation de devoirs. la programmation.
L'opération est assez simple. Il vous suffit d'aller au site Web de cet outil de vérification et connectez-vous ou enregistrez-vous (votre compte suffira si vous utilisez ChatGPT). Après cela, vous devrez coller le texte que vous souhaitez vérifier et l'outil renverra un résultat indiquant s'il a probablement été écrit par une IA ou un humain.
"Pas fiable à 100%", prévient OpenAI
Comme les éducateurs sont susceptibles d'utiliser ce nouvel outil de vérification de texte IA pour vérifier si les étudiants ont triché sur leurs devoirs assignés, OpenAI avertit qu'il ne devrait pas être utilisé comme le « seul test » pour déterminer la malhonnêteté académique.
« Notre classificateur n'est pas totalement fiable. Dans nos évaluations d'un « ensemble de défis » de textes anglais, notre classificateur identifie correctement 26 % du texte écrit par l'IA (vrais positifs) comme «probablement écrit par l'IA», tout en étiquetant à tort le texte écrit par l'homme comme 9% écrit par l'IA (faux positifs). La fiabilité de notre classificateur s'améliore généralement à mesure que la longueur du texte d'entrée augmente. Comparé à notre classificateur précédemment publié, ce nouveau classificateur est nettement plus fiable dans le texte des derniers systèmes d'IA. »
De plus, ils ont partagé une série de limitations afin que l'utilisation du classificateur de texte puisse se faire de la manière la plus efficace possible.
- Le classifieur est très peu fiable sur des textes courts (moins de 1,000 XNUMX caractères). Même les textes les plus longs sont parfois mal étiquetés par le classificateur.
- Parfois, le classificateur étiquette incorrectement le texte écrit par l'homme comme écrit par l'IA.
- Il est recommandé d'utiliser le classificateur uniquement pour le texte en anglais. Cela fonctionne beaucoup moins bien dans d'autres langues et n'est pas fiable dans le code.
- Un texte hautement prévisible ne peut pas être identifié de manière fiable. Par exemple, il est impossible de prédire si une liste des 1,000 XNUMX premiers nombres premiers a été écrite par l'IA ou par des humains, car la bonne réponse est toujours la même.
- Le texte saisi par l'IA peut être modifié pour contourner le classificateur. Les classificateurs peuvent être mis à jour et recyclés en fonction des attaques réussies, mais il n'est pas clair si la détection présente un avantage à long terme.
- Les classificateurs basés sur les réseaux de neurones sont connus pour être mal calibrés en dehors de leurs données d'apprentissage. Pour les entrées très différentes du texte de l'ensemble d'apprentissage, le classifieur est parfois très confiant dans une prédiction incorrecte.
