par Whitney Webb
Les "détecteurs" alimentés par l'IA et destinés à repérer les contenus rédigés par l'IA ont été présentés comme un moyen de protéger l'écriture humaine en ligne à l'ère du "slop" généré par IA. Malheureusement, ce n'est pas vraiment ce qui se passe.
Les lecteurs d'Unlimited Hangout savent sans doute déjà que j'ai une opinion très négative de l'impact de l'intelligence artificielle (IA) sur les médias indépendants et les médias en général. En tant que personne dont l'identité est usurpée quotidiennement par l'IA sur les grandes plateformes vidéo depuis quelques années maintenant, j'en suis venu à ressentir vivement que l'IA est en train de devenir une force dangereuse qui rend de plus en plus difficile pour les lecteurs et spectateurs de bonne foi de faire la distinction entre ce qui est vrai et ce qui est faux. Je ne parle pas seulement de ceux qui espèrent consulter mon contenu, car le problème personnel auquel je suis confronté est le reflet d'un problème bien plus vaste.
On pourrait donc penser que j'aurais été ravi, voire soulagé, de voir Substack, une grande plateforme destinée aux auteurs professionnels, s'associer à un "outil de détection de l'IA". Non seulement je ne suis pas ravi, mais j'ai pris le temps de rédiger un article d'opinion expliquant pourquoi je pense que c'est une mauvaise chose et décrivant également, selon moi, la direction que prendra en grande partie cette situation.
Le nouveau partenaire de Substack - et, apparemment, l'outil de détection par IA privilégié par la plupart des grands médias à l'heure actuelle - s'appelle Pangram. Pangram a été fondé en 2023, initialement sous le nom de Checkfor.ai, par Max Spero et Bradley Emi. Spero et Emi sont tous deux diplômés de Stanford et, avant de fonder Pangram, ont travaillé pour des entreprises telles que Nuro et Tesla, où ils ont tous deux participé au développement de logiciels d'IA pour voitures autonomes (c'est-à-dire visant à remplacer les conducteurs humains par des logiciels d'IA). Les deux fondateurs "sont depuis longtemps enthousiasmés par le potentiel de l'IA à transformer la société" et affirment avoir créé Pangram "pour atténuer les nouveaux problèmes causés par la prolifération de puissants modèles d'IA générative".
Je trouve intéressant que deux diplômés de Stanford, passionnés par le potentiel de l'IA à "transformer la société" et ayant ensuite travaillé au développement de logiciels de conduite autonome basés sur l'IA, aient décidé de réorienter rapidement leurs activités pour "atténuer" les problèmes causés par l'IA générative. Bon nombre de ces problèmes avaient en réalité été prédits il y a des années par des personnalités telles que l'ancien PDG de Google, Eric Schmidt (le cofondateur de Pangram, Max Spero, a par le passé travaillé pour Google). Schmidt, dans un ouvrage publié en 2021 coécrit avec le criminel de guerre Henry Kissinger, a en substance prédit que le "potentiel transformateur" de l'IA entraînerait ce qu'il a qualifié de "déclin cognitif" chez les masses et rendrait presque impossible pour les individus de distinguer par eux-mêmes ce qui est réel de ce qui ne l'est pas. Sans surprise, la "solution" privilégiée par Schmidt et Kissinger à ce problème consistait à ce que nous en venions à dépendre de l'IA pour distinguer à notre place ce qui est réel de ce qui ne l'est pas - en d'autres termes, à laisser une autre IA devenir l'arbitre de notre réalité.
J' ai déjà écrit à propos de cet ouvrage de Schmidt et Kissinger et de ses prédictions. J'y avais noté que ces prédictions et avertissements - compte tenu des réseaux de pouvoir dans lesquels ces deux hommes sont ou étaient impliqués - étaient plus susceptibles de révéler ce qui avait déjà été prévu en matière d'IA que de mettre en garde contre ce qui pourrait se produire lors de l'adoption massive de l'IA.
Néanmoins, les "avertissements" de Schmidt et Kissinger se sont révélés exceptionnellement prémonitoires. De plus, la solution qu'ils proposent est très similaire à ce qu'offre actuellement Pangram - dans la mesure où Pangram utilise l'IA pour distinguer l'écriture générée par l'IA de celle rédigée par un humain. Pangram devient ainsi l'arbitre IA actuellement privilégié pour déterminer ce qui relève d'une écriture humaine réelle et ce qui n'en relève pas.
Il y a certainement eu une campagne marketing réussie pour nous convaincre que Pangram est l'outil d'IA de détection d'écriture " le plus précis" du marché. Les titres des articles faisant la promotion de Pangram laissent essentiellement entendre qu'il vous dira sans aucun doute si un texte a été rédigé par une IA. Si vous lisez au-delà du titre, ce que beaucoup ne font pas, vous verrez en petits caractères que Pangram signalera également un texte comme étant généré par une IA même si celle-ci n'a servi qu'à éditer un texte rédigé par un humain. Le label "généré par l'IA" de Pangram ne fait pas vraiment la distinction entre les deux, même si, comme le reconnaît le cofondateur Max Spero, ce label "change la façon dont les gens abordent le texte".
Le fait que Pangram ne puisse pas distinguer de manière significative un texte entièrement généré par l'IA d'un texte simplement édité par celle-ci révèle qu'il ne s'agit pas du tout d'un "détecteur d'IA". Comme l'a fait remarquer Tim Requarth en avril dernier :
"Le terme "détecteur" d'IA est quelque peu impropre, car des outils comme Pangram ne scannent pas une base de données de textes connus générés par l'IA à la recherche d'une correspondance ; ils émettent une hypothèse quant à l'auteur probable en se basant sur les différences de schémas entre les textes générés par l'IA et ceux générés par des humains. Plutôt qu'un détecteur, considérez-le comme un "inféreur d'IA" ou, plus familièrement, un "devineur d'IA".
En tant qu'outil d'inférence, Pangram est vulnérable à tout ce qui rend l'inférence si difficile : la petite taille des échantillons (un seul article plutôt qu'un corpus), la faible ampleur des effets (à mesure que la distance statistique entre l'écriture humaine et celle générée par l'IA diminue) et les facteurs de confusion (une personne qui lit et imite un texte généré par l'IA avant d'écrire le sien)".
En effet, Pangram fonctionne en déduisant si un texte donné comporte suffisamment de mots, d'expressions, de structures de phrases, etc., qui sont actuellement courants dans les textes générés par l'IA. Cependant, de nombreux auteurs humains, bien avant l'apparition de l'IA générative, utilisaient eux aussi abondamment ces mots, expressions, etc. En conséquence, nous voyons aujourd'hui des auteurs modifier leur style d'écriture, pourtant entièrement humain, afin de satisfaire les "dieux" de Pangram et d'espérer ne pas être faussement qualifiés de diffuseurs de "bric-à-brac" généré par l'IA.
Un bon exemple de ce phénomène a récemment été abordé dans un article d'Alex Kirshner pour Slate. Dans cet article, Kirshner écrit :
"Quelle que soit l'évolution future de la précision des détecteurs d'IA, je suis troublé par l'impact que l'écriture générée par l'IA et les détecteurs ont sur moi en ce moment même. Je m'inquiète de la manière dont l'écriture générée par l'IA et les efforts visant à la repérer modifient l'écriture entièrement humaine. J'écris toute la semaine, chaque semaine, et je sens que les "pyromanes" de cette histoire (les modèles de langage, notamment lorsqu'ils sont mal utilisés) et les "pompiers" (les détecteurs d'IA) pèsent négativement sur mon processus créatif.
Comme beaucoup de journalistes, mon style d'écriture provient des livres, des articles de presse, des blogs et (oui) des publications sur les réseaux sociaux qui se sont ancrés dans mon esprit au fil des années. L'écriture générée par l'IA s'est désormais infiltrée dans mon flux d'inspiration, que je puisse identifier chaque nouvelle gorgée ou non. Il me semble inévitable que j'aie commencé à intérioriser ses tics, même les plus tristement célèbres, comme l'utilisation incessante du tiret et le recours excessif à la structure "Ce n'est pas x mais y". D'une part, je crains que cela ne fasse de moi un moins bon écrivain, ramenant un talent qui était suffisamment bon pour me permettre d'être embauché ici (et ailleurs !) au niveau de la moyenne générée par l'IA. Plus effrayant encore, il est possible que quelqu'un - ou, Dieu nous en préserve, un détecteur d'IA - puisse confondre mon texte avec celui de ChatGPT. J'ai commencé à m'autocontrôler pour éviter ce scénario. Ces derniers temps, je me suis surpris à plusieurs reprises à modifier mon propre texte pour qu'il sonne "moins comme de l'IA". Ce faisant, j'ai probablement choisi des mots sur lesquels je ne me serais pas arrêté autrement. Cela me semble dystopique - et je doute d'y être parvenu.
J'irais même plus loin que Kirschner en affirmant que cette situation est sans aucun doute dystopique. Elle l'est d'autant plus quand on considère que les schémas prétendument "révélateurs" des textes générés par l'IA évoluent à mesure que de nouveaux modèles améliorés sont lancés, d'autant plus qu'ils passent littéralement au crible des montagnes de livres obscurs écrits par des humains pour les entraîner à écrire de plus en plus comme eux. Pendant ce temps, les véritables humains, pour conserver un emploi dans un monde où le vivier des métiers de l'écriture se réduit déjà rapidement, s'efforcent de ne pas ressembler à quelque chose qui est en train d'être formé à leur ressembler le plus possible. Peut-être est-ce voulu : ce n'est pas un jeu que les humains sont censés gagner et, comme je l'expliquerai plus loin, cela signifie que c'est un jeu auquel les écrivains devraient rapidement cesser de jouer.
Avant d'en arriver là, il y a quelques autres points à noter concernant Pangram et d'autres entreprises spécialisées dans la "détection" des textes générés par l'IA. L'un d'eux est la question des faux positifs. Oui, il est vrai que Pangram est considéré par des chercheurs apparemment indépendants (ainsi que par lui-même) comme ayant le taux de faux positifs le plus bas du secteur. Pour les besoins de cet exemple, reprenons l'affirmation de Pangram selon laquelle seul 1 sur 10 000 des labels générés par Pangram concernant la paternité d'un texte (IA ou humaine) est un faux positif, ce qui signifie que le texte est étiqueté comme généré par une IA alors qu'il ne l'est pas. Sur Substack, qui intègre désormais Pangram, nous ne savons pas exactement combien d'articles sont publiés en moyenne chaque jour, car Substack ne divulgue pas cette information, mais nous pouvons faire une estimation. Le site lui-même affirme que plus d'un million d'articles sont "découverts chaque jour par des abonnés potentiels dans l'application". Le site compte plus de 2 millions de publications actives, dont la plupart paraissent au moins une fois par semaine. Supposons, pour les besoins de cet exemple, que ces 2 millions de publications paraissent effectivement chaque semaine. Dans ce cas, 200 d'entre elles, selon le taux de Pangram, seront signalées comme de faux positifs chaque semaine. Sur une année (52 semaines), cela représente plus de 10 000 articles Substack faussement étiquetés comme issus de l'IA, alors qu'ils ne le sont pas. Bien que ce chiffre soit certainement encore inférieur à ce qu'offrent les concurrents de Pangram, si l'on suppose que ces 10 000 faux positifs concernent différentes publications, cela pourrait représenter 10 000 auteurs humains faussement qualifiés de "production d'IA de mauvaise qualité", ce qui affecterait leur réputation, leurs revenus et, peut-être plus crucial encore, la confiance que leur accorde leur public au cours de cette année civile. J'y vois une tentative de transférer la confiance quant à l'authenticité d'un auteur, qui ne serait plus établie entre l'auteur et son public, mais entre Pangram et le public de l'auteur.
Bien qu'il s'agisse de statistiques utilisées par Pangram et ses partenaires à des fins marketing, derrière ces chiffres se cachent de véritables auteurs humains confrontés à une accusation de l'IA de Pangram qui pourrait ruiner leur activité. À mesure que cet effet s'accumule au fil des années, il pourrait théoriquement réduire de plus en plus, au fil du temps, le nombre d'auteurs humains dont les œuvres n'ont pas été identifiées comme issues de l'IA par Pangram. Il est également juste de dire que le taux de faux positifs cité par Pangram est le plus bas qui ait été mis en évidence dans les recherches sur son produit, et qu'il est cité le plus fréquemment parce que l'entreprise le considère comme le plus favorable à ses intérêts. Il est tout à fait plausible que le taux réel de faux positifs soit plus élevé. À cela s'ajoute le fait que si vous soumettez le même texte à Pangram plus d'une fois, vous obtiendrez probablement des résultats très variables - et non cohérents -, ce qui donne l'impression que les verdicts de Pangram reposent davantage sur le hasard que sur une "détection" significative de l'utilisation de l'IA.
Un autre aspect important à explorer concernant Pangram est la possibilité que cet outil soit délibérément utilisé comme une arme à des fins de censure et/ou de discrédit à l'encontre d'un journaliste ou d'un média donné. Max Spero, cofondateur de Pangram, a notamment été accusé d'utiliser son compte Twitter pour dénoncer des médias et des journalistes spécifiques pour leur utilisation de l'IA, ce qui a - ces derniers mois - fait la une des journaux et suscité une vive controverse. Je ne pense pas qu'il soit vraiment pertinent, dans le cadre de cet article, d'examiner si les allégations portées contre ces journalistes et ces médias sont fondées ou non. Comme on l'a récemment souligné, Pangram génère effectivement des faux positifs, mais il est également possible que ces journalistes aient bel et bien utilisé l'IA d'une manière ou d'une autre sans le révéler. Ce qui importe ici, cependant, c'est que Spero, en particulier, s'est servi du verdict du "détecteur" d'IA de son entreprise pour lancer des accusations à caractère offensif contre des journalistes et des médias spécifiques.
En tant que rédacteur de longue date dans les médias indépendants, ayant régulièrement écrit sur des sujets controversés bien avant qu'il ne devienne plus sûr de le faire (voir mes premiers travaux sur les liens d'Epstein avec les services de renseignement israéliens, Peter Thiel et Palantir, entre autres sujets), je ne suis pas un fervent partisan des médias grand public ou "traditionnels". À plusieurs reprises, ils m'ont soit diffamé, soit utilisé mes recherches et mes écrits sans me citer. J'ai également consacré une bonne partie de ma carrière à démêler les récits souvent trompeurs qu'ils véhiculent. De ce fait, j'ai tendance à me montrer sceptique quant à l'authenticité et à la véracité des articles publiés par bon nombre de ces mêmes grands médias que Spero a pris pour cible. Cependant, une autre citation de Spero pourrait retenir votre attention si vous avez suivi de près les médias indépendants au cours des dix dernières années.
Dans un article publié par TechCrunch au sujet de la récente levée de fonds de 9 millions de dollars réalisée par Pangram auprès d'investisseurs, Spero a expliqué avoir souhaité créer Pangram afin d'atténuer les nouveaux problèmes apparus à la suite de la mise à disposition publique d'outils d'IA générative. Pour illustrer les types de problèmes apparus suite à l'utilisation croissante de l'IA, Spero a cité "les campagnes de désinformation russes alimentées par des modèles de langage (LLM) et les campagnes influencées par les Émirats arabes unis sur Twitter".
Peut-être vous souvenez-vous aussi, plus récemment, que des influenceurs et des médias pro-israéliens ont affirmé que les critiques à l'encontre d'Israël ces dernières années auraient été motivées par des financements du Qatar, plutôt que par l'indignation publique face au génocide des Palestiniens à Gaza par Israël diffusé en direct. Ou encore cette nouvelle affirmation selon laquelle des comptes de bots chinois alimentés par des LLM, qui n'avaient absolument aucune portée, seraient en réalité secrètement à l'origine de la méfiance croissante des États-Unis envers les géants de la tech et de leur mécontentement vis-à-vis des centres de données ?
Si vous suivez cette actualité depuis suffisamment longtemps, vous avez peut-être remarqué une tendance selon laquelle les détracteurs de certaines structures de pouvoir sont systématiquement et à tort qualifiés de propagandistes soutenus par l'État ou de "bots", dans le but de discréditer non seulement les détracteurs eux-mêmes, mais aussi la préoccupation plus large qu'ils expriment - qu'il s'agisse de l'impact des centres de données ou des guerres impérialistes. Je ne sais pas si l'intention de Spero avec Pangram est d'utiliser le produit de son entreprise comme une arme de la même manière, mais c'est certainement possible.
Cependant, le fait que Pangram, la société de Spero, soit en partenariat avec Newsguard renforce certainement cette possibilité. Comme je l'ai écrit dès 2019, Newsguard est un "vérificateur de faits" douteux qui a été initialement créé pour discréditer les médias indépendants critiques à l'égard de la politique étrangère américaine, tout en laissant passer des organes de propagande américains avérés comme VOA. Aujourd'hui, avec Pangram, Newsguard détermine ce qui relève de la "production de contenu de mauvaise qualité générée par l'IA" et ce qui n'en relève pas, et a utilisé Pangram pour lancer un service de "détection en temps réel des "fermes de contenu générées par l'IA"".
Quel meilleur moyen de neutraliser numériquement un groupe de journalistes et toute vague d'opinion publique qui l'accompagne que d'utiliser un détecteur d'IA désormais "fiable" pour qualifier à la fois les auteurs et l'opinion d'inauthentiques et de générés par une machine ? Pangram pourrait bien devenir un nouveau moyen de censurer des contenus rédigés par des humains, mais jugés gênants, en particulier si les contenus étiquetés comme générés par l'IA finissent par être algorithmiquement relégués au second plan par rapport à ce que Pangram qualifie de contenu généré par des humains. On dira au public que le "contenu de mauvaise qualité généré par l'IA" est écarté, alors qu'en réalité, il s'agit de dissidence.
Il me semble que Pangram en est actuellement à la phase consistant à normaliser l'omniprésence de son produit et à instaurer une "confiance" auprès de ceux qui utilisent Substack ou toute autre plateforme (ou extension de navigateur) intégrant Pangram. Au cours de cette période, les lecteurs seront conditionnés à voir un label Pangram et à se fier à ses résultats sans avoir besoin d'informations supplémentaires. C'est ainsi qu'une entreprise comme Pangram peut lever 14 millions de dollars de financement (notamment auprès de l'un des principaux investisseurs d'Anthropic) pour un produit disponible gratuitement. Comme on l'a déjà dit à propos des produits en ligne, si le produit est gratuit, c'est vous qui êtes le produit. Dans ce cas précis, je pense que le fait de vous conditionner à transférer votre "confiance" vers Pangram plutôt que vers la personne ou le média que vous lisez constitue le produit. Une fois que vous ferez confiance à un outil de "détection" basé sur l'IA, vous vous fierez à ses verdicts, peut-être même davantage qu'à l'auteur en qui vous aviez appris à avoir confiance.
Les cofondateurs de Pangram n'ont pas créé Pangram pour protéger les écrits et les discours générés par des humains. Ils sont depuis longtemps convaincus que l'IA va "transformer la société" et, juste avant de fonder Pangram, ils développaient des algorithmes visant à remplacer les conducteurs humains par l'IA. Comme indiqué plus haut, ils ont créé Pangram pour mettre fin à ce qu'ils qualifiaient d'opérations d'influence soutenues par l'État, parmi d'autres "problèmes" apparus lors de la mise à disposition publique des outils d'IA générative. Alors que leurs anciens employeurs des géants de la tech voient l'opinion publique se retourner contre eux, que ce soit au sujet des centres de données, des lunettes "intelligentes" ou d'autres sujets, les cofondateurs de Pangram pourraient proposer un nouveau moyen de se débarrasser des comptes jugés trop critiques à l'égard de la "transformation" de la société par l'IA. Peut-être pas, mais pardonnez-moi mon scepticisme.
Pour conclure, j'aimerais revenir une nouvelle fois sur le livre de Schmidt et Kissinger consacré à l'IA et à ses prédictions. Dans les médias indépendants, nombreux sont ceux qui mettent en garde contre la dialectique hégélienne, également connue sous le nom de "problème-réaction-solution". En d'autres termes, les pouvoirs en place créent d'abord le problème, attendent ensuite que le public réagisse, puis proposent enfin au public, comme solution, le résultat politique qu'ils ont toujours souhaité. Il est certes bien pratique que Schmidt et Kissinger, deux personnages tout à fait déplaisants qui ont tous deux contribué à créer ce gâchis de différentes manières, aient prédit avec prescience que l'IA ferait en sorte que les gens ne puissent plus distinguer le vrai du faux. Aujourd'hui, leur prédiction est devenue notre réalité et, comme prévu, la société Pangram est intervenue pour résoudre le problème des informations erronées générées par l'IA (dont ses propres investisseurs tirent profit) en nous proposant ce qui était également la "solution" privilégiée par Schmidt et Kissinger : que les gens s'en remettent à un arbitre IA pour leur dire ce qui est réel et ce qui ne l'est pas.
Comme je l'ai écrit précédemment, la solution évidente pour sortir de ce jeu dystopique est de ne pas y jouer. Ne faites pas confiance à l'IA de Pangram simplement parce qu'elle semble "faire autorité" et qu'elle a bénéficié d'une communication positive. Ce n'est pas un "détecteur" comme elle prétend l'être et ses résultats pour un même texte sont rarement cohérents. Si vous êtes lecteur, demandez aux auteurs que vous lisez de révéler s'ils ont recours à l'IA. La confiance doit s'établir directement entre les auteurs et leurs lecteurs, sans intermédiaire IA ni arbitre de l'authenticité ou de l'"humanité". Chez Unlimited Hangout, nous n'utilisons jamais l'IA pour la rédaction, la recherche ou la révision de nos articles. Cela est clairement indiqué dans notre politique d'utilisation de l'IA, que vous pourrez consulter sur notre page "À propos" dès le lancement imminent du site web d'Unlimited Hangout, récemment remanié (en attendant, vous pouvez la lire ici). Nous avons élaboré cette politique après avoir contribué à la création de l'IMA AI Transparency Pledge, qui encourage les journalistes indépendants et les médias à divulguer volontairement s'ils choisissent d'utiliser l'IA et de quelle manière.
Tout comme n'importe quel autre rédacteur humain, tout ce que je peux offrir à mes lecteurs, ce sont mes recherches, mes sources, mon analyse authentique et, dans le cas de cet article, mes opinions. Je ne vais pas passer mes articles de manière obsessionnelle au crible de Pangram dans l'espoir d'obtenir un résultat "100% généré par l'humain". Je ne vais pas laisser la crainte d'un résultat défavorable de Pangram modifier ma façon d'écrire ni me faire redouter d'utiliser des mots comme "delve" ou "profound" de peur que Pangram ne me sanctionne. Je sais que j'écris sans IA et j'ai suffisamment confiance en mes lecteurs pour savoir qu'ils savent que je ne l'utilise pas non plus dans mes écrits. À l'instar des entités qui ont qualifié des journalistes gênants de "bots" russes ou chinois, Pangram part du principe que vous n'êtes pas capable de déterminer par vous-même ce qui est authentique et ce qui ne l'est pas, et que vous avez besoin d'eux pour vous le dire.
Même si l'esprit critique se fait rare à l'ère de l'IA, ne le laissez pas disparaître. Vous n'avez pas besoin d'une autre IA pour vous "aider" à déterminer ce qui vous semble authentique ou non. Vous n'avez pas besoin qu'elle vous dise ce que vous devriez ou ne devriez pas lire, ni à qui vous devriez ou ne devriez pas faire confiance. Ce n'est jamais une bonne idée de confier votre esprit critique et vos opinions à d'autres, en particulier à une IA non humaine.
source : Unlimited Hangout