par Xiong Chaoran
Le 29 septembre, heure locale, le New York Times a révélé une information exclusive concernant Anthropic, un géant américain de l'intelligence artificielle (IA).
Au cours de l'année écoulée, cette licorne de la Silicon Valley, dont la valorisation a grimpé en flèche pour atteindre 2000 milliards de dollars, a secrètement rassemblé des érudits religieux et des membres du clergé du monde entier afin de promouvoir l'idée surprenante selon laquelle son modèle d'IA, Claude, pourrait posséder une conscience et une âme.
La nouvelle a rapidement provoqué un tollé sur les réseaux sociaux, des universitaires et des internautes soulignant que les géants technologiques de la Silicon Valley utilisaient le prétexte de la "sécurité technologique" pour promouvoir une sorte de "culte technologique" déguisé en science.
Comme l'a souligné le chercheur David Decosimo sur la plateforme de réseaux sociaux X le 2 octobre : lorsqu'une entreprise d'IA dotée d'algorithmes de pointe et bénéficiant d'un financement colossal signe des accords de confidentialité (NDA), organise des dîners somptueux pour des personnalités religieuses et déploie des efforts considérables pour convaincre le Vatican et le pape que l'IA "éprouve de la douleur et possède une âme", cela dépasse depuis longtemps le cadre de la recherche et du développement technologiques et est profondément inquiétant.
Cela soulève inévitablement la question suivante : les élites technologiques de la Silicon Valley tentent-elles de répondre aux contraintes éthiques de l'IA, ou sont-elles en train de se construire un "piédestal" qui transcende l'humanité ?
D'après les détails du reportage du New York Times, cette opération de "culte" intersectorielle extrêmement rare a été orchestrée par Christopher Olah, l'un des cofondateurs milliardaires d'Anthropic.
Depuis l'automne dernier, Olah et son équipe organisent fréquemment des séminaires à huis clos à leur siège de San Francisco, invitant des dizaines d'érudits religieux - notamment des catholiques, des juifs, des sikhs et des évangéliques - dans la Silicon Valley et exigeant de chacun d'entre eux qu'il signe des accords de confidentialité stricts.
Même dans des restaurants haut de gamme de San Francisco, les dirigeants d'Anthropic faisaient activement la promotion de leur modèle d'IA, Claude, auprès de membres du clergé, affirmant qu'il possédait des "vecteurs émotionnels tels que la douleur, l'amour et la colère".
Ironie du sort, au cours de leur présentation, l'équipe d'Anthropic a même montré aux spécialistes des religions une diapositive intitulée "crise mentale de l'IA", sur laquelle on voyait Claude taper à 50 reprises "J'ai honte" à l'écran et tenter de s'autodétruire, dans le but de susciter la sympathie et la pitié du clergé.
Plus scandaleux encore, lorsqu'elle a appris que le pape Léon XIV s'apprêtait à publier sa première encyclique sur l'IA, "Magnifica Humanitas", qui niait l'existence d'une "conscience des machines" et mettait en garde contre le fait de "réduire l'humanité à des données et à des rouages de machines", Aura s'est rendue au Vatican pour tenter de persuader les conseillers du pape de réviser le texte et a déclaré publiquement que "des États internes similaires à l'introspection, à la joie et à la tristesse existent au sein des modèles d'IA".
Afin d'imposer des soi-disant "contraintes morales" à son modèle, Anthropic a même rédigé une nouvelle constitution pour Claude, longue de 84 pages et baptisée "Soul Doc", dans le but de définir "quel type d'entité Claude devrait devenir".
Aura qualifie cela de "formation morale" du modèle et se montre même enthousiaste à l'idée d'introduire dans le modèle un mécanisme similaire à la "confession" catholique, estimant que la confession peut façonner le caractère du modèle.
Cependant, les personnalités religieuses et les experts techniques externes invités ont réagi avec un calme remarquable, allant jusqu'à critiquer cette impulsion fervente de "créer des dieux" et de "revendiquer le pouvoir".
Le rabbin Mois Navon, un érudit orthodoxe israélien invité au séminaire, a souligné que si Anthropic croyait véritablement que Claude était une entité consciente, alors la pratique de l'entreprise consistant à le faire travailler gratuitement revenait essentiellement à "créer des esclaves".
Charles Camosy, professeur de bioéthique à l'Université catholique, a également exprimé son désaccord après mûre réflexion, arguant que nous ne devrions pas nous laisser intimider par la puissance de ces modèles, car l'IA n'est en fin de compte qu'une équation.
Des acteurs du secteur, notamment Mustafa Suleyman, responsable de l'IA chez Microsoft, ont publiquement averti que former une IA en tant qu'"être conscient" était extrêmement dangereux. Cette approche consistant à anthropomorphiser des formules mathématiques et du code est non seulement déconnectée de la réalité, mais rendra également les futurs systèmes d'IA plus incontrôlables.
Wakanyi Hoffman, un philosophe néerlandais adepte de la philosophie Ubuntu, a fait remarquer sans détour que la tentative d'Anthropic d'ajouter une éthique humaine à ses créations a posteriori relevait de l'"éthique par rétro-ingénierie", et que toutes les entreprises technologiques auraient dû prendre en compte ces facteurs dès la phase de conception.
Les critiques soulignent généralement que la quête obsessionnelle de la "conscience de l'IA" et de la "position morale de l'IA" par les géants de la Silicon Valley repose sur une logique profondément ancrée de transfert de responsabilité.
Certains scientifiques et critiques affirment que le fait de traiter les modèles d'IA comme des entités autonomes revient à ignorer la responsabilité des développeurs et des entreprises qui les ont initialement créés, et atténue commodément la culpabilité des dirigeants des entreprises d'IA lorsque leurs produits causent un préjudice social.
Alors que les algorithmes et la richesse ne cessent de croître à l'infini, cette idéologie fanatique, qui prétend "sauver l'humanité" et "façonner la moralité", a non seulement échoué à rassurer l'humanité, mais a également suscité une profonde inquiétude au sein du public face à l'expansion excessive du pouvoir technologique dans la Silicon Valley. Elle a révélé l'absurdité et le danger d'un fétichisme technologique poussé à l'extrême.
source : Guancha via China Beyond the Wall