Les détecteurs de « AI-Written Prose » sont là | de Clive Thompson | janvier 2023

La prochaine phase du jeu d’IA du chat et de la souris est arrivée

La perspective de se faire berner par la prose générée par l’IA effraie beaucoup de gens.

Naturellement ! Les enseignants sont en première ligne à cet égard – des outils comme ChatGPT permettent aux étudiants de tricher facilement sur les essais. (« Rédigez un essai de cinq paragraphes résumant les causes de la Seconde Guerre mondiale, dans le style d’un lycéen. ») Mais de nombreux autres secteurs sont également inquiets. Les moteurs de recherche craignent de faire face à un assaut de contenu SEO humain. Les journalistes s’inquiètent de la concurrence presque gratuite. (CNET est exécutant déjà des explicateurs écrits par GPT-3.)

Ces gens aimeraient avoir des contre-mesures, non ?

Et voilà, ils arrivent. Récemment, nous avons vu le lancement d’outils en ligne qui tentent de détecter automatiquement si quelque chose a été écrit par une IA.

Comment travaillent-ils? En recherchant la chaleur-signature de la prose générée par une IA.

En gros, des outils comme GPT-3 fonctionnent en prenant une invite et en prédisant le prochain mot le plus probable qui le compléterait. Cela signifie que le texte de l’IA, en théorie, devrait contenir des « dits » stylistiques : il est plus susceptible d’être rempli de statistiquement probable paires de mots. En revanche, un auteur humain en chair et en os est plus susceptible de suivre occasionnellement un mot par un mot imprévisible.

Donc, pour déterminer si un texte a été écrit par une IA, vous recherchez un niveau élevé de paires de mots très prévisibles. Un étudiant de Princeton, Edward Tian, ​​a récemment lancé un outil appelé GPT-Zéro qui fonctionne précisément de cette façon. Comme le Bête quotidienne notes, l’outil analyse deux mesures de l’aléatoire dans le texte, « la perplexité » et « l’éclatement »…

La perplexité est une mesure du caractère aléatoire d’une phrase. Si une phrase est construite ou utilise des mots d’une manière qui surprend l’application, elle obtiendra un score plus élevé en termes de perplexité. Tian a déclaré qu’il avait utilisé le GPT-2 gratuit et open source pour aider à former son application pour cette métrique.

L’éclat est la qualité de globalement aléatoire pour toutes les phrases d’un texte. Par exemple, l’écriture humaine a tendance à avoir des phrases dont la complexité varie. Certains sont simples. Certains peuvent en donner à James Joyce pour son argent. Les robots, en revanche, ont tendance à générer des phrases relativement peu complexes, tout au long du texte.

Il existe également quelques autres outils, y compris le « Détecteur de contenu AI » par Writer.ai et le « Salle de test du modèle de langage géant ».

Idée amusante, mais comment fonctionnent-ils?

J’ai effectué quelques tests (très non scientifiques), en prenant la prose que j’avais moi-même écrite, puis en demandant à GPT-3 de faire sa propre version.

Par exemple, ci-dessous est l’ouverture de un Mère Jones histoire que j’ai écrite sur les technologies de capture directe du carbone dans l’air — c’est-à-dire des machines qui aspirent le CO2 de l’atmosphère. L’une des entreprises qui fabriquent cette technologie est Carbon Engineering, et Je décris brièvement le fonctionnement de leur machinerie…

En Colombie-Britannique, il y a une petite vallée où la rivière Squamish serpente le long des falaises du Malamute, un lieu de randonnée populaire. Les collines dans toutes les directions sont, comme une grande partie de la Colombie-Britannique, densément boisées de sapins. Et nichée dans cette vallée se trouve une usine industrielle dernier cri qui vise à reproduire ce que font ces millions d’arbres : aspirer le dioxyde de carbone de l’air.

L’usine a été construite par Carbon Engineering, un pionnier de la technologie connue sous le nom de captage direct de l’air (DAC). Dans un long bâtiment trapu, un énorme ventilateur de plafond aspire l’air à l’intérieur, où il réagit avec un produit chimique liquide qui saisit les molécules de CO2. Ce « sorbant » s’écoule dans une machine voisine qui transforme le gaz, qui est ensuite stocké dans des réservoirs sous pression. L’objectif est d’aider à débarrasser l’atmosphère de son coupable le plus omniprésent du changement climatique. L’usine de Squamish traitera jusqu’à 1 000 tonnes métriques de CO2 par an. C’est une minuscule goutte dans le seau des émissions annuelles de la planète, estimées à 33 milliards de tonnes métriques l’an dernier, mais cette usine n’est qu’une installation pilote.

J’ai testé ce passage en utilisant le « détecteur de contenu IA » de Writer.aiet les résultats ont été gratifiants…

Apparemment je suis un humain ! Objectifs.

Ensuite, je suis allé au GPT-3 et lui ai demandé de « décrire comment fonctionne la technologie de capture du carbone de Carbon Engineering ». Voici ce qu’il a écrit…

Carbon Engineering est une entreprise qui a développé un moyen de capter le dioxyde de carbone de l’atmosphère. Le processus fonctionne en utilisant un grand ventilateur pour aspirer l’air dans une machine appelée usine Direct Air Capture (DAC). L’air passe ensuite à travers un filtre conçu pour capturer les molécules de dioxyde de carbone. Le dioxyde de carbone collecté est ensuite stocké dans des réservoirs et peut être utilisé de diverses manières, comme dans la production de carburant ou stocké en permanence sous terre.

Le processus de capture du dioxyde de carbone de l’atmosphère est relativement simple et repose sur les principes du génie chimique. La technologie fonctionne en utilisant une réaction entre un solvant liquide et le dioxyde de carbone dans l’air. Le solvant liquide est chauffé puis passé à travers un filtre. Ce filtre capture les molécules de dioxyde de carbone, qui sont ensuite collectées et stockées. Le dioxyde de carbone stocké peut ensuite être utilisé à diverses fins telles que la production de carburant ou stocké sous terre. Le processus est non seulement efficace, mais également efficace et rentable par rapport à d’autres méthodes de capture du dioxyde de carbone de l’atmosphère.

Le détecteur de Writer.ai a estimé qu’il n’y avait que 5% d’humains…

Jusqu’ici tout va bien!

J’ai plusieurs autres expériences. Dans l’un, j’ai pris une description de la raison pour laquelle le « Idaho Stop » fonctionne pour prévenir les collisions voiture-vélo – que j’ai écrit dans mon article de blog sur le sujet (débutant le paragraphe « C’est parce que l’Idao s’arrête » …) – et l’a testé par rapport à une explication en trois paragraphes par GPT-3. Encore une fois, il m’a évalué comme 100% humain et GPT-3 comme 0% humain. Et il est vrai que lorsque vous lisez le premier paragraphe de la prose GPT-3, il se lit assez par cœur et par les chiffres …

L’arrêt de l’Idaho est une loi adoptée dans l’Idaho qui permet aux cyclistes de traiter les panneaux d’arrêt comme s’ils étaient des panneaux de cession et les feux rouges comme s’ils étaient des panneaux d’arrêt. Cette loi est bénéfique pour réduire les collisions entre les voitures et les vélos, car elle permet aux cyclistes de se déplacer plus rapidement et plus facilement aux intersections. En permettant aux cyclistes de traverser une intersection avec prudence, cela réduit les risques d’accident lorsqu’un cycliste est pris dans un embouteillage et ne peut pas se déplacer assez rapidement pour éviter une collision.

La prose semble vraiment stylistiquement prévisible, n’est-ce pas ? Jusqu’à présent, les détecteurs de robots fonctionnent bien.

Ah, mais…

… puis j’ai essayé quelques ajustements à mes invites.

Je lui ai demandé d’écrire trois paragraphes sur l’Idaho Stop « dans un style comique drôle et plein d’esprit ». Les résultats n’étaient pas remarquablement différents; encore une prose assez fade, juste avec un peu plus d’exubérance et de points d’exclamation. Voici le premier paragraphe…

L’Idaho Stop est une technique révolutionnaire qui réduit les collisions entre les voitures et les vélos en permettant aux cyclistes de traiter les panneaux d’arrêt comme s’il s’agissait de cédez le passage. Au lieu de s’arrêter complètement, un cycliste peut simplement ralentir, regarder autour de lui et continuer s’il est sécuritaire de le faire. C’est un excellent moyen d’assurer la sécurité de tous et de s’assurer que les cyclistes ne se font pas écraser par les voitures !

Mais il s’est avéré que cela suffisait à tromper le détecteur de contenu Writer.ai AI :

J’ai essayé « ajouter un style sarcastique » et cela a également trompé le détecteur. Il n’a pas toujours travail : Par exemple, j’ai demandé à GPT-3 de réécrire les paragraphes sur la capture de carbone « dans le style d’un étudiant plein d’esprit et sardonique », en produisant ceci (le premier paragraphe)…

La technologie de capture directe du carbone dans l’air est une merveille d’ingénierie qui est vraiment très simple. Fondamentalement, il aspire l’air du ciel et l’utilise pour éliminer le dioxyde de carbone de l’atmosphère. Cela ressemble à de la magie, non ? Eh bien, cette technologie est en fait basée sur les mêmes principes que les systèmes de capture d’air traditionnels, avec quelques ajustements pour la rendre plus efficace.

… mais cette fois l’outil n’était pas dupe. Il a déclaré que ce laissez-passer n’était que « 24% humain ».

J’ai aussi essayé d’autres outils.

J’ai généré plus de prose GPT-3 sur l’arrêt de l’Idaho – « dans un style comique plein d’esprit et drôle » – et je l’ai inséré dans le Salle de test du modèle de langage géant. Cet outil est graphiquement amusant ; après avoir effectué son analyse, il met en surbrillance le texte en couleurs pour montrer à quel point il ressemble à un robot. Le vert signifie que les séquences de mots étaient très prévisibles, le jaune moins prévisible et le rouge encore moins prévisible. Ainsi, plus vous voyez de texte rouge, plus le texte devrait ressembler à un humain, en théorie.

Quand je lui ai donné la prose GPT-3, j’ai senti qu’une grande partie de l’écriture était assez prévisible – et donc très semblable à un bot. Très peu de mots étaient rouges…

Cela parait assez précis.

Le problème est que, lorsque j’ai alimenté mon propre original, très Humain-texte écrit aussi, les résultats semblaient tout aussi botlike…

La proportion de mots rouges n’est guère meilleure du tout. Selon cet outil, mon écriture est presque aussi prévisible que GPT-3.

Mon avis final ?

Hélas, plus je jouais avec ces outils, moins je les sentais particulièrement fiables. Mieux que le hasard, mais pas beaucoup plus.

Il s’agit de tests très anecdotiques, remarquez. Ce n’étaient pas des tests rigoureux. Mais d’autres fusillades tout aussi anecdotiques semblent confirmer mes résultats : Quand David Gewirtz a testé plusieurs outils pour ZDnet, lui aussi a trouvé que le meilleur qu’il pouvait obtenir était une précision de 2/3, et souvent inférieure. « À ce stade, je ne pense pas que nous soyons prêts à laisser l’IA combattre l’IA », a-t-il conclu.

Il est tout à fait possible que ces outils s’améliorent, mais encore une fois, les outils de génération d’IA le seront également. Ce jeu du chat et de la souris ne fait que commencer.