« L'IA est-elle le vrai nom de Terminator ? » On a parlé de ce sujet avec Marie-Des-Neiges Ruffo de Calabre, philosophe spécialiste des systèmes d'armes létales autonomes.
On les appelle communément les « robots tueurs ». Mais derrière cette formule futuriste fortement inspirée de la science-fiction se pose la question des systèmes d'armes létales autonomes (SALA). Couramment définis comme l'ensemble des armes capables de repérer et d'attaquer une cible individuelle sans aucune intervention humaine, les « robots tueurs » peuvent prendre plusieurs formes, de la mitraillette au drone.
Bien que ces armes autonomes n'aient pas encore vu le jour au sens strict du terme, leur développement est imminent, car elles bénéficient des progrès récents dans le domaine de l'intelligence artificielle. Alors pour anticiper les nouvelles formes de guerres, certaines ONG s'insurgent. En mai dernier, c'était l'ONG néerlandaise PAX qui alertait contre le danger croissant occasionné par les SALA. Elle n'était pas la première puisque depuis 2012, la campagne internationale « Stop Killer Robots », menée par une coalition de 63 ONG, essaie de faire avancer le débat, en vain. Malgré les nombreux rendez-vous inernationaux, à l'instar de la sixième édition de la Convention sur certaines armes classiques (CCAC), tenue en août dernier, aucun accord international contraignant n'a encore été trouvé.
La question est donc brûlante. D'autant plus qu'elle est relayée par des personnages publics comme Elon Musk. Et qu'elle fait l'objet de recherches, sur le plan technique, mais aussi philosophique. L'une des intellectuelles en pointe sur le sujet s'appelle Marie-des-Neiges Ruffo de Calabre. Autrice du livre Itinéraire d'un robot tueur (Le Pommier, septembre 2018), elle est aujourd'hui chercheuse et professeure à l'université de Namur et à l'Institut Catholique de Paris. Nous l'avons interviewée dans le cadre du KIKK festival, un évènement dédié aux cultures créatives et numériques, durant lequel elle donnait une conférence intitulée « L'IA est-elle le vrai nom de Terminator ? ». Retour avec elle sur les questions éthiques posées par les SALA et les pistes pour tenter de répondre à cet enjeu de demain, voire d'aujourd'hui.
Usbek & Rica : Aujourd'hui, on sait que la Corée du Sud utilise, le long de la zone démilitarisée partagée avec sa voisine du Nord, des « mitrailleuses autonomes » SGR-A1, capables de détecter une présence humaine et éventuellement de tirer. Malgré ces exemples concrets, vous dites qu'on ne peut aujourd'hui pas certifier l'existence des SALA. Pourquoi ?
Marie-Des-Neiges Ruffo de Calabre : En l'absence de définition précise, on ne peut pas encore traiter les SALA d'un point de vue juridique. Aujourd'hui, il faudrait un accord international sur cette définition mais il n'y en pas encore. Cela supposerait que les acteurs se mettent d'accord sur le fait que les SALA aient telle ou telle caractéristique. Mais lorsqu'on arrivera à cet accord, les SALA deviendront de facto illégaux car le but sera d'encadrer leur utilisation ou de les interdire. C'est ce que défendent les ONG comme l'ICRAC, qui essaie par exemple d'interdire l'usage des drones dans la guerre [ou la PAX qui dénonce une course à l'armement avec les robots tueurs, ndlr]. Or, certains États et acteurs ne veulent pas qu'il y ait un accord pour éviter une interdiction, comme les États-Unis ou la Russie.
Il y a une certaine opacité dans les activités militaires, entre ce qui relève de l'attaque, de la défense, voire de la protection des civils. Comment définir ce qui est éthique ou non ?
C'est complexe. Pour citer un exemple, General Atomics (une entreprise de défense et de physique nucléaire américaine), a acheté une solution d'une start-up belge pour que ses futurs drones soient dotés de logiciels de reconnaissance d'images. En éthique, ça pourrait être bon comme mauvais : si cette technologie est utilisée en robotique afin de retrouver plus rapidement des survivants en cas de catastrophe naturelle, l'application peut être bonne. Mais si son but est de viser plus efficacement un nombre important de cibles humaines, cela pose de vraies questions éthiques.
Il y a une articulation intéressante entre la technologie développée par les militaires et celle développée par les civils. Dans l'histoire, les militaires ont généralement de l'avance sur les civils, mais en matière d'IA, les plus avancés sont les civils. C'est par exemple le cas avec Google : des ingénieurs employés par cette société privée ont refusé de travailler sur des projets à visée militaire, en l'occurrence le projet Maven, car ils ont pris conscience que ces technologies pouvaient être utilisées pour développer des SALA.
« Les problèmes de l'IA ont été posés par l'arme atomique durant la guerre froide »
Je pense que la ligne rouge est de laisser la machine cibler et tirer sans intervention humaine. C'est la limite éthique absolue. Sans citer de pays en particulier, on peut se demander si on peut faire confiance à certaines nations pour utiliser ces technologies de manière éthique. Finalement, les problèmes générés par l'IA sont similaires à ceux qu'on a connus durant la guerre froide avec l'arme atomique. On a de la même façon une course à l'armement et une prolifération - un programme informatique peut être piraté et intoxiqué si on lui donne de fausses informations. Sauf qu'il est plus facile de copier un programme informatique que d'enrichir de l'uranium.
Lorsqu'on parle de « robots tueurs », on imagine une version 2.0 de Terminator, c'est-à-dire un robot uniquement destiné à tuer sur un champ de bataille. Mais vous alertez surtout sur l'utilisation stratégique des SALA. En quoi celle-ci est-elle encore plus dangereuse ?
Je dirais surtout que cette utilisation pose des problèmes philosophiques plus profonds. Je peux citer l'exemple de l'armée américaine, qui a acheté l'intelligence artificielle Libratus, créée pour reconnaître le bluff dans le cadre d'une partie de poker. La question posée ici est : pourquoi demande-t-on à une intelligence artificielle de développer une stratégie ? On espère qu'elle sera plus efficace que nous. Mais quand on développe une technologie, il faut toujours réfléchir à la contre-mesure que l'ennemi risque de déployer et à la façon d'y répondre. Or comment résister à une intelligence artificielle ? En étant imprévisible. Mais on sait que si l'IA fonctionne bien pour reconnaître des choses qui se sont déjà produites, elles n'est pas la mieux placée pour surprendre. S'il y a une capacité de surprendre - essentielle pour gagner à la guerre -, elle ne sera qu'humaine.
Et il ne faut pas oublier que la guerre n'a pas vocation à durer car ce qui est intéressant dans la guerre, c'est d'aboutir à la paix. Clovis disait : « La guerre, ce n'est jamais qu'un duel entre deux volontés qui s'affrontent », donc il faut essayer d'imposer sa volonté à l'autre. Et aujourd'hui ce qui marche le mieux, ce n'est pas la guerre mais les sanctions économiques. Donc pour l'instant, je dirais que ce qui nous sauve d'un mauvais usage de l'IA, ce sont les sanctions économiques.
Vous alertez sur une intelligence artificielle forte. Mais on sait que ce n'est pas toujours le cas : les voitures autonomes ont par exemple montré leur manque d'efficacité et leur biais raciaux. Quand on parle de « robots tueurs » aujourd'hui, n'attise-t-on pas un peu des peurs irrationnelles ?
Je souhaite que ces applications ne se développent pas, mais aujourd'hui, la technologie existe. C'est très facile de créer un robot qui tue sans aucune intelligence, c'est à la portée de n'importe quel terroriste. Mais ce n'est pas ce que l'on veut : on cherche à faire respecter l'éthique, même à la guerre. Donc je ne joue pas sur les peurs, la peur n'a d'intérêt que si elle pousse à l'action.
« On imagine qu'un robot fera la guerre de façon plus propre que l'humain »
Pourquoi est-ce que certains veulent des robots qui font la guerre à la place du militaire ? Car on imagine qu'un robot fera la guerre de façon plus propre que l'humain. Car on ne veut plus, dans une société démocratique, que les hommes meurent à la guerre. Mais si on était cohérents, on arrêterait simplement la guerre. Or on n'est pas cohérent, donc on n'arrête pas la guerre. Elle est devenue tellement intense qu'il faut en évacuer l'humain car il ne la supporte plus. Même les pilotes de drones développent des syndromes de stress post-traumatiques alors qu'ils sont à des kilomètres du champ de bataille car ils n'en peuvent plus de voir autant de corps démembrés. Alors avec les armes autonomes, on souhaite protéger le soldat, mais les civils risquent d'en payer le prix. Car ils continuent à vivre la violence et l'intensité des combats dans des guerres souvent asymétriques. Et si on y ajoute l'idée que la machine déciderait de tout, cela remet aussi en cause la justice rendue aux victimes.
Concrètement, comment peut-on encadrer éthiquement ces armes létales autonomes ?
Mêmes si elles sont établies, les règles éthiques ne sont pas toujours respectées, il faut donc continuer de les défendre. C'est le cas par exemple pour le respect des civils. Je dirais qu'il faut surtout anticiper. On a vu les rebelles yéménites qui ont attaqué les réserves de pétrole en Arabie saoudite. Tout ce qu'on développe peut se retourner contre nous donc il faudrait se poser la question aujourd'hui de savoir si on veut vraiment développer ces outils. Il faut aussi certifier les armes, s'assurer que le système fera ce pour quoi il est prévu et non pas le contraire - ce qui pose problème dans les systèmes complexes, plus sujets aux bugs et qui apprennent d'eux-mêmes.
« Il faut réapprendre à travailler en l'absence de technologie »
Et je pense qu'il faut miser sur la cyberdéfense pour réduire notre vulnérabilité technologique. Un exemple tout bête : aujourd'hui, les militaires sont obligés de réapprendre à utiliser un compas pour connaître leur positionnement car il est aujourd'hui possible de perturber des positionnement GPS. Il faut travailler notre capacité de résistance et développer nos aptitudes à travailler en l'absence de technologie. On n'a rien inventé de nouveau depuis l'éthique du maître et de l'esclave chez Hegel. Au départ, vous avez un bon esclave qui fait tout à votre place, et plus vous lui faites confiance, plus vous devenez dépendant. Finalement, votre esclave devient votre maître. C'est la même chose avec la technologie. La machine peut être un très bon outil mais elle doit rester un outil.
Image à la Une : Robots militaires développés par l'armée américaine ( source : DoD photo by EJ Hersom)