{"165230":{"id":"165230","parent":"0","time":"1575019933","url":"http:\/\/newsnet.fr\/165230","source":"http:\/\/usbeketrica.com\/article\/comment-rendre-les-ia-humbles-pour-eviter-qu-elles-ne-detruisent-l-humanite","category":"internet","title":"Comment rendre les Ia \u00ab humbles \u00bb pour \u00e9viter qu'elles ne d\u00e9truisent l'humanit\u00e9","catalog-images":"5\/\/3\/newsnet_165230_8ec155.jpg\/newsnet_165230_322624.png\/newsnet_165230_3fc49e.jpg\/newsnet_165230_EBK-a94IFHY.jpg","image":"http:\/\/newsnet.fr\/img\/newsnet_165230_3fc49e.jpg","hub":"newsnet","url-explicit":"http:\/\/newsnet.fr\/art\/comment-rendre-les-ia-humbles-pour-eviter-qu-elles-ne-detruisent-l-humanite","admin":"newsnet","views":"423","priority":"2","length":"16152","lang":"fr","content":"\u003Cp\u003EDans son livre \u003Ci\u003E\u003Ca href=\"https:\/\/www.penguinrandomhouse.com\/books\/566677\/human-compatible-by-stuart-russell\"\u003EHuman Compatible\u003C\/a\u003E\u003C\/i\u003E, publi\u00e9 en anglais au mois d'octobre, Stuart Russel propose une grande r\u00e9forme de l'intelligence artificielle, dont il craint que l'humanit\u00e9 perde un jour le contr\u00f4le. \u00c0 la d\u00e9finition actuelle, trop dangereuse et simplificatrice de l'IA, le chercheur oppose la notion de \u00ab \u003Ci\u003Emachines b\u00e9n\u00e9fiques\u003C\/i\u003E \u00bb.\u003C\/p\u003E\u003Cp\u003E\u00ab \u003Ci\u003ESi nous r\u00e9ussissons.\u003C\/i\u003E \u00bb Le titre du premier chapitre du livre de Stuart Russell donne le ton : et si nous arrivions vraiment ? Et si l'humanit\u00e9 parvenait enfin \u00e0 cr\u00e9er, dans un futur proche, une intelligence artificielle \u00ab \u003Ci\u003Esuper-intelligente\u003C\/i\u003E \u00bb, c'est-\u00e0-dire dot\u00e9e d'une capacit\u00e9 intellectuelle \u00e9gale voire sup\u00e9rieure \u00e0 la n\u00f4tre ? Que se passerait-il ? C'est pr\u00e9cis\u00e9ment cette angoisse qui constitue le point de d\u00e9part de la r\u00e9flexion de l'informaticien anglo-am\u00e9ricain : \u00ab \u003Ci\u003ELe but de notre secteur a toujours \u00e9t\u00e9 de cr\u00e9er une IA d'un niveau humain ou superhumain, mais nous n'avons jamais pens\u00e9 \u00e0 ce qu'il adviendrait si nous y parvenions (...) Je suis devenu convaincu que cette question est non seulement principale, mais aussi qu'elle est peut-\u00eatre la question la plus importante \u00e0 laquelle l'humanit\u00e9 doit faire face\u003C\/i\u003E \u00bb.\u003C\/p\u003E\u003Cp\u003EPubli\u00e9 en anglais par \u003Cspan id=\"bt2051780\"\u003E\u003Ca onclick=\"togglebub('wiki,call__2051780_https:\/\/fr.wikipedia.org\/wiki\/Viking*Press_1');\"\u003E\u003Cspan class=\"philum ic-wiki2\"\u003E\u003C\/span\u003E\u003C\/a\u003E\u003C\/span\u003E \u003Ca href=\"https:\/\/fr.wikipedia.org\/wiki\/Viking_Press\"\u003EViking Press\u003C\/a\u003E au d\u00e9but du mois d'octobre 2019, \u003Ci\u003E\u003Ca href=\"https:\/\/www.penguinrandomhouse.com\/books\/566677\/human-compatible-by-stuart-russell\"\u003EHuman Compatible\u003C\/a\u003E\u003C\/i\u003E se propose de r\u00e9soudre cet \u00e9pineux probl\u00e8me \u00e0 travers une s\u00e9rie de propositions pour une grande \u00ab \u003Ci\u003Er\u00e9forme\u003C\/i\u003E \u00bb de l'intelligence artificielle, qui passerait par des changements radicaux dans notre compr\u00e9hension-m\u00eame du terme. L'heure n'est peut-\u00eatre pas si grave \u00ab \u003Ci\u003Epour l'instant\u003C\/i\u003E \u00bb mais, dans l'une de ces all\u00e9gories dont il a le secret, le chercheur nous alerte : ne pas se pencher sur ce d\u00e9bat reviendrait, \u00ab \u003Ci\u003Epour un chauffeur de bus avec toute l'humanit\u00e9 comme passagers\u003C\/i\u003E \u00bb \u00e0 s'\u00e9crier : \u00ab \u003Ci\u003E\"Oui, je fonce \u00e0 toute vitesse vers le sommet de la montagne, mais ne vous inqui\u00e9tez pas, de toute fa\u00e7on, nous n'aurons pas assez d'essence pour l'atteindre !\"\u003C\/i\u003E \u00bb Transformer l'IA avant qu'elle ne pousse l'humanit\u00e9 dans le pr\u00e9cipice : voil\u00e0, r\u00e9sum\u00e9e \u00e0 gros traits, l'ambition de Stuart Russell.\u003C\/p\u003E\u003Cfigure\u003E\u003Cimg src=\"http:\/\/newsnet.fr\/img\/newsnet_165230_8ec155.jpg\" \/\u003E\u003Cfigcaption\u003ECouverture du livre Human Compatible. Cr\u00e9dits : Viking Press \u00a9.\u003C\/figcaption\u003E\u003C\/figure\u003E\u003Cp\u003E\u003Cbig\u003ETuteurs scolaires sous forme d'IA\u003C\/big\u003E\u003C\/p\u003E\u003Cp\u003EPour ent\u00e9riner la validit\u00e9 de son approche, l'auteur commence par effectuer quelques pr\u00e9dictions, qu'il distingue en deux cat\u00e9gories. D'un c\u00f4t\u00e9, les progr\u00e8s en mati\u00e8re d'IA dont nous devrions collectivement b\u00e9n\u00e9ficier : voitures autonomes, assistants vocaux, maisons connect\u00e9es... \u00c0 propos des smart cities, par exemple, Russell se montre enthousiaste en rappelant qu'1,2 million de personnes meurent dans des accidents de voiture chaque ann\u00e9e, et que des dizaines de millions d'autres souffrent de blessures. \u00ab \u003Ci\u003ELes villes vont passer du mod\u00e8le des voitures individuelles et des bus larges \u00e0 celui des transports partag\u00e9s et des v\u00e9hicules \u00e9lectriques autonomes, fournissant des services de porte-\u00e0-porte et des transits massifs \u00e0 grande vitesse entre diff\u00e9rents hubs\u003C\/i\u003E \u00bb, affirme-t-il.\u003C\/p\u003E\u003Cblockquote\u003E\u00ab Ce n'est aucunement de la science-fiction \u00bb\u003C\/blockquote\u003E\u003Cp\u003EM\u00eame optimisme en dehors de ces questions de pur \u00ab confort \u00bb : pour Russell, le secteur de l'\u00e9ducation, notamment, devrait bient\u00f4t pouvoir profiter des progr\u00e8s de l'IA. Le tutorat personnel \u00e9tant reconnu comme beaucoup plus efficace que l'enseignement en classe, il pourrait \u00eatre g\u00e9n\u00e9ralis\u00e9 gr\u00e2ce au num\u00e9rique. \u00ab \u003Ci\u003EAvec des tuteurs sous forme d'intelligence artificielle, le potentiel de chaque enfant, qu'il soit pauvre ou pas, pourrait \u00eatre r\u00e9alis\u00e9\u003C\/i\u003E, pr\u00e9dit celui qui avait d\u00e9j\u00e0 co-\u00e9crit, en 1995, \u003Ci\u003E\u003Ca href=\"http:\/\/aima.cs.berkeley.edu\"\u003EArtificial Intelligence\u003C\/a\u003E\u003C\/i\u003E, consid\u00e9r\u00e9 comme fondateur pour la litt\u00e9rature de l'IA. \u003Ci\u003ELe co\u00fbt par enfant [d'un tel syst\u00e8me] serait n\u00e9gligeable, et chacun pourrait vivre une vie bien plus riche et bien plus productive. La poursuite d'activit\u00e9s intellectuelle et artistique, aussi bien individuellement que collectivement, deviendrait quelque chose de banal plut\u00f4t qu'un luxe.\u003C\/i\u003E \u00bb\u003C\/p\u003E\u003Cp\u003E\u003Cbig\u003EArmes de destruction massive\u003C\/big\u003E\u003C\/p\u003E\u003Cp\u003EL'auteur se montre bien plus inquiet, en revanche, concernant l'utilisation de l'intelligence artificielle \u00e0 des fins malveillantes. Qui viseraient, au hasard, \u00e0 manipuler nos comportements et \u00e0 b\u00e2tir des armes militaires. S'il d\u00e9plore que la m\u00e9diatisation du sujet soit trop caricaturale (suivant ses conseils, nous avons d\u00e9cid\u00e9 de ne pas illustrer cet article par une image de \u003Ci\u003E\u003Cspan id=\"bt2053320\"\u003E\u003Ca onclick=\"togglebub('wiki,call__2053320_https:\/\/fr.wikipedia.org\/wiki\/Terminator_1');\"\u003E\u003Cspan class=\"philum ic-wiki2\"\u003E\u003C\/span\u003E\u003C\/a\u003E\u003C\/span\u003E \u003Ca href=\"https:\/\/fr.wikipedia.org\/wiki\/Terminator\"\u003ETerminator\u003C\/a\u003E\u003C\/i\u003E), il rappelle aussi que ces m\u00e9canismes sont d\u00e9j\u00e0 \u00e0 l'œuvre et ne rel\u00e8vent \u00ab \u003Ci\u003Eaucunement de la science-fiction\u003C\/i\u003E \u00bb. Exemple parmi d'autres : depuis le milieu des ann\u00e9es 2000, la soci\u00e9t\u00e9 isra\u00e9lienne \u003Ca href=\"https:\/\/www.iai.co.il\"\u003EIsrael Aerospace Industries\u003C\/a\u003E d\u00e9veloppe (et commercialise) \u00ab \u003Cspan id=\"bt2053670\"\u003E\u003Ca onclick=\"togglebub('wiki,call__2053670_https:\/\/fr.wikipedia.org\/wiki\/IAI*Harop_1');\"\u003E\u003Cspan class=\"philum ic-wiki2\"\u003E\u003C\/span\u003E\u003C\/a\u003E\u003C\/span\u003E \u003Ca href=\"https:\/\/fr.wikipedia.org\/wiki\/IAI_Harop\"\u003EIAI Harop\u003C\/a\u003E \u00bb, un v\u00e9hicule a\u00e9rien sans pilote con\u00e7u pour \u00e9voluer au-dessus des champs de bataille et d\u00e9truire ses cibles en fonction de crit\u00e8res pr\u00e9alablement int\u00e9gr\u00e9s \u00e0 son syst\u00e8me.\u003C\/p\u003E\u003Cp\u003ELe probl\u00e8me est double. D'une part, \u00e9videmment, ces outils sont des \u00ab \u003Ci\u003Earmes de destruction massive \u00e9volutives\u003C\/i\u003E \u00bb et pourraient \u00ab \u003Ci\u003E\u00eatre utilis\u00e9es pour an\u00e9antir des groupes ethniques ou religieux tout entiers\u003C\/i\u003E \u00bb par des gouvernements autoritaires. Mais surtout, pointe Russell, des machines \u00ab \u003Ci\u003Esuper-intelligentes\u003C\/i\u003E \u00bb et \u00ab \u003Ci\u003Een conflit avec l'humanit\u00e9\u003C\/i\u003E \u00bb pourraient s'en emparer, transformant des syst\u00e8mes d'armement relativement basiques (dans leur structure) en extensions physiques d'un syst\u00e8me de contr\u00f4le global, totalitaire et destructeur.\u003C\/p\u003E\u003Cfigure\u003E\u003Cimg src=\"http:\/\/newsnet.fr\/img\/newsnet_165230_322624.png\" \/\u003E\u003Cfigcaption\u003EUn drone de combat MQ-9 de l'arm\u00e9e am\u00e9ricaine. Cr\u00e9dits : U.S. Air Force Photo \/ Lt. Col. Leslie Pratt (CC).\u003C\/figcaption\u003E\u003C\/figure\u003E\u003Cp\u003E\u003Cbig\u003EPerte de contr\u00f4le\u003C\/big\u003E\u003C\/p\u003E\u003Cp\u003EComment des syst\u00e8mes d'intelligence artificielle pourraient-ils ainsi \u00e9chapper \u00e0 notre contr\u00f4le et finir par s'opposer \u00e0 nous ? C'est bien s\u00fbr toute la question, et Russell a le m\u00e9rite de la ramener \u00e0 des exp\u00e9riences de pens\u00e9e tr\u00e8s simples, voire amusantes. Dans son chapitre \u00ab Overly Intelligent IA \u00bb (\u00ab L'IA excessivement intelligente \u00bb), le chercheur pr\u00e9sente ainsi le cas suivant : pour r\u00e9soudre la crise environnementale, on demande \u00e0 une intelligence artificielle de lutter contre l'acidification des oc\u00e9ans qui r\u00e9sulte de l'augmentation des niveaux de dioxyde de carbone. La machine d\u00e9veloppe alors un gigantesque catalyseur artificiel, qui cr\u00e9e des r\u00e9actions chimiques tr\u00e8s rapides entre l'oc\u00e9an et l'atmosph\u00e8re et restaure ainsi le niveau de pH initial des oc\u00e9ans. Probl\u00e8me : pour fonctionner, la machine consomme au passage un quart de l'oxyg\u00e8ne de l'atmosph\u00e8re. \u00ab \u003Ci\u003ECela nous laisse asphyxier lentement et douloureusement. Oups\u003C\/i\u003E \u00bb, conclut Russell.\u003C\/p\u003E\u003Cp\u003EDans un podcast du \u003Ci\u003E\u003Ca href=\"https:\/\/www.theguardian.com\/technology\/audio\/2019\/oct\/18\/stuart-russell-on-why-now-is-the-time-to-start-thinking-about-superintelligent-ai-science-weekly-podcast\"\u003EGuardian\u003C\/a\u003E\u003C\/i\u003E, l'informaticien propose d'ailleurs une version encore plus simplifi\u00e9e de ce sc\u00e9nario : \u00ab \u003Ci\u003EImaginons qu'on ordonne \u00e0 une intelligence artificielle de lutter contre le r\u00e9chauffement climatique en restaurant le niveau de dioxyde de carbone dans l'air au niveau o\u00f9 il \u00e9tait \u00e0 l'\u00e8re pr\u00e9-industrielle (...) Si elle identifie cela comme son seul objectif, une solution facile pour elle serait d'aller \u00e0 la source du probl\u00e8me : nous. Se d\u00e9barasser de tous les \u00eatres humains r\u00e9soudrait donc son probl\u00e8me.\u003C\/i\u003E \u00bb\u003C\/p\u003E\u003Cp\u003E\u003Cbig\u003EChangement de paradigme\u003C\/big\u003E\u003C\/p\u003E\u003Cp\u003EToute la difficult\u00e9 est donc de faire en sorte que les IA n'agissent plus comme elles le font actuellement. \u00c0 savoir : en remplissant un objectif unique, inchang\u00e9, tel que d\u00e9fini par des \u00eatres humains et surtout \u003Ci\u003E\u00e0 n'importe quel prix\u003C\/i\u003E. Il n'est, de ce point de vue, pas exag\u00e9r\u00e9 de dire que Stuart Russel plaide pour un v\u00e9ritable changement de paradigme : \u00ab \u003Ci\u003ELe mod\u00e8le standard de l'IA, d'apr\u00e8s lequel des machines optimisent un objectif fixe fourni par l'\u00eatre humain, est une impasse\u003C\/i\u003E, tranche l'auteur d\u00e8s les premi\u00e8res pages de son livre. \u003Ci\u003ELe probl\u00e8me n'est pas que nous pourrions \u00e9chouer \u00e0 construire de tels syst\u00e8mes ; c'est que nous pourrions \"trop\" r\u00e9ussir (...) Se d\u00e9barrasser du pr\u00e9suppos\u00e9 selon lequel les machines devraient avoir un objectif d\u00e9fini signifie que nous devrons remplacer une partie des fondements de l'intelligence artificielle - les d\u00e9finitions de base de ce que nous essayons de faire. Cela implique \u00e9galement de reconstruire une grande partie de cette superstructure - l'accumulation d'id\u00e9es et de m\u00e9thodes permettant de cr\u00e9er de l'IA. Le r\u00e9sultat sera une toute nouvelle relation entre les humains et les machines.\u003C\/i\u003E \u00bb\u003C\/p\u003E\u003Cfigure\u003E\u003Cimg src=\"http:\/\/newsnet.fr\/img\/newsnet_165230_3fc49e.jpg\" \/\u003E\u003Cfigcaption\u003EUn robot de l'entreprise Boston Dynamics pr\u00e9sent\u00e9 au TechCrunch Disrupt London 2016. Cr\u00e9dits : TechCrunch \/ Flickr (CC BY 2.0).\u003C\/figcaption\u003E\u003C\/figure\u003E\u003Cp\u003EEn guise d'alternative au syst\u00e8me actuel, Russell \u00e9labore ainsi le concept de \u00ab \u003Ci\u003Emachines b\u00e9n\u00e9fiques\u003C\/i\u003E \u00bb, qu'il d\u00e9finit comme \u00e9tant certes \u00ab \u003Ci\u003Eintelligentes\u003C\/i\u003E \u00bb mais qui devraient surtout remplir uniquement \u00ab \u003Ci\u003Enos objectifs\u003C\/i\u003E \u00bb et non \u00ab \u003Ci\u003Eleurs objectifs propres\u003C\/i\u003E \u00bb. La diff\u00e9rence avec ce qui existe actuellement para\u00eet subtile, mais l'auteur expose trois principes pour l'\u00e9tablir : \u00ab \u003Ci\u003Ele seul objectif de la machine est de maximiser la r\u00e9alisation des pr\u00e9f\u00e9rences humaines\u003C\/i\u003E \u00bb ; \u00ab \u003Ci\u003Ela machine est initialement incertaine \u00e0 propos de ce que sont ces pr\u00e9f\u00e9rences\u003C\/i\u003E \u00bb ; \u00ab \u003Ci\u003Ela source ultime d'information pour d\u00e9finir ces pr\u00e9f\u00e9rences est le comportement humain.\u003C\/i\u003E \u00bb\u003C\/p\u003E\u003Cp\u003EEn apparence contradictoire avec le concept m\u00eame d'intelligence artificielle, la notion d'incertitude est mobilis\u00e9e avec insistance par Stuart Russell. Pour lui, si elle est int\u00e9gr\u00e9e aux \u00ab nouvelles IA \u00bb, les objectifs-m\u00eames des syst\u00e8mes concern\u00e9s seront constamment remis en question, ce qui les forcera \u00e0 adopter une posture d'\u00ab \u003Ci\u003Ehumilit\u00e9\u003C\/i\u003E \u00bb : \u00ab \u003Ci\u003EUne machine qui part du principe qu'elle conna\u00eet son objectif parfaitement le poursuit d'une fa\u00e7on unilat\u00e9rale. Elle ne demande jamais aucune permission, parce qu'elle croit d\u00e9j\u00e0 conna\u00eetre la solution optimale pour remplir cet objectif (...) Au contraire, une machine qui est incertaine \u00e0 propos du v\u00e9ritable objectif poursuivi fera preuve d'humilit\u00e9.\u003C\/i\u003E \u00bb Ce qui implique, du point de vue de l'IA, de \u00ab \u003Ci\u003Edemander certaines permissions\u003C\/i\u003E \u00bb aux \u00eatres humains \u00e0 des \u00e9tapes cl\u00e9s de son processus de fonctionnement, d'agir \u00ab \u003Ci\u003Eavec pr\u00e9caution\u003C\/i\u003E \u00bb lorsque l'orientation n'est pas suffisamment claire pour elle, ou encore d'autoriser son propre syst\u00e8me \u00e0 \u00ab \u003Ci\u003E\u00eatre d\u00e9branch\u00e9\u003C\/i\u003E \u00bb \u00e0 n'importe quel moment.\u003C\/p\u003E\u003Cblockquote\u003E\u00ab Aux yeux d'un observateur chevronn\u00e9 de la Silicon Valley, cela sonnera sans doute na\u00eff \u00bb\u003C\/blockquote\u003E\u003Cp\u003EAu-del\u00e0 des d\u00e9tails techniques relatifs \u00e0 l'application d'une telle r\u00e9forme, reste \u00e0 savoir dans quelle mesure elle pourrait \u00eatre prise en compte par ceux qui disposent du pouvoir de la mettre en place. Encore une fois tr\u00e8s optimiste, le chercheur cite le \u003Ca href=\"https:\/\/ec.europa.eu\/commission\/presscorner\/detail\/fr\/IP_19_1893\"\u003EGroupe d'experts de haut niveau sur l'intelligence artificielle\u003C\/a\u003E de l'Union europ\u00e9enne comme \u00ab \u003Ci\u003El'un des exemples les plus importants\u003C\/i\u003E \u00bb en la mati\u00e8re. Et assure que d'\u00e9normes progr\u00e8s sont en cours des deux c\u00f4t\u00e9s de l'Atlantique, aussi bien en termes de prise de conscience politique que de recherche technologique.\u003C\/p\u003E\u003Cp\u003E\u003Ci\u003EQuid\u003C\/i\u003E du fait que la majorit\u00e9 des investissements dans le champ de l'IA sont d\u00e9sormais concentr\u00e9s dans les divisions \u00ab Recherche et d\u00e9veloppement \u00bb des g\u00e9ants du num\u00e9rique, qu'ils soient am\u00e9ricains ou chinois ? L'auteur reconna\u00eet que leurs int\u00e9r\u00eats ne sont \u00ab \u003Ci\u003Epas parfaitement align\u00e9s\u003C\/i\u003E \u00bb avec ceux de son projet mais persiste \u00e0 croire qu'ils agiront dans le bon sens gr\u00e2ce \u00e0 \u00ab \u003Ci\u003Edes formes de r\u00e9gulations\u003C\/i\u003E \u00bb accrues. \u00ab \u003Ci\u003EAux yeux d'un observateur chevronn\u00e9 de la Silicon Valley, cela sonnera sans doute na\u00eff\u003C\/i\u003E \u00bb, \u00e9crit Stuart Russel dans les toutes derni\u00e8res pages de son livre. Difficile de lui donner tort sur ce point, mais on ne demande qu'\u00e0 se tromper.\u003C\/p\u003E\u003Cp\u003E\u003Ca href=\"http:\/\/youtube.com\/watch?v=EBK-a94IFHY\" target=\"_blank\"\u003E\u003Cspan class=\"philum ic-chain\"\u003E\u003C\/span\u003E youtube\u003C\/a\u003E\u003C\/p\u003E\u003Cp\u003E\u003Ca href=\"http:\/\/usbeketrica.com\/article\/comment-rendre-les-ia-humbles-pour-eviter-qu-elles-ne-detruisent-l-humanite\"\u003Eusbeketrica.com\u003C\/a\u003E\u003C\/p\u003E","_links":[]}}