par La Quadrature du Net
Nous publions un document prouvant que France Travail développe un outil d'IA générative, de type ChatGPT, pour le contrôle des plus de 6 millions de personnes inscrites (1). Devant les risques que fait peser le déploiement d'IA génératives à des fins de contrôle social, et alors que ce projet fait figure de pilote à l'échelle nationale, nous appelons à son retrait immédiat.
Le 30 juin dernier, les dirigeant·es de France Travail annonçaient en Comité d'éthique IA (2) travailler au déploiement d'une IA générative à destination des équipes du contrôle de la recherche d'emploi. "Mettre en place le contrôle continu", permettre la "détection de signaux faibles" et la "systématisation des contrôles" : les objectifs poursuivis sont sans équivoques.
Le document de présentation de ce projet, que nous publions, est précieux en ce qu'il permet d'appréhender l'ampleur de la banalisation des IA génératives en termes de contrôle social. De par leurs capacités techniques inédites tant d'analyse de données hétérogènes, de prise en compte de contextes variés ainsi que d'échanges par la voix ou l'écrit, elles permettent l'automatisation de processus de contrôle complexes dont le nombre était jusqu'alors limité par leur coût. Ce faisant, elles ouvrent la voie à leur multiplication et à l'apparition de formes de contrôle toujours plus intrusives.
Automatisation et massification des contrôles
À France Travail, cette automatisation est prévue en plusieurs étapes. Dans un premier temps, l'IA n'aura pas la possibilité de déclencher des contrôles ni celle d'interagir directement avec les personnes contrôlées. Elle jouera un rôle complémentaire à l'algorithme de profilage utilisé par France Travail pour sélectionner les personnes à contrôler et que nous présentions cet été. (3)
L'objectif à court terme est de réduire le temps humain nécessaire à la réalisation d'un contrôle en transférant à l'IA la charge de l'analyse du dossier de la personne contrôlée (situation administrative, professionnelle, personnelle, rapports d'entretiens, diagnostic professionnel...) (4). Elle produira une "restitution structurée" de ce dernier, comprenant une "synthèse et des points d'attention", afin de préparer les "conclusions" du contrôle. Le travail des contrôleur·ses se limitera à valider l'application d'éventuelles sanctions.
Sur la seule année 2027, France Travail estime que le "gain de temps" permis par l'IA participera à atteindre la "cible de [1,5 millions de] contrôles 2027 à effectifs constants". Soit 400 000 contrôles supplémentaires (+36%) par rapport à l'année 2026, sans recrutements supplémentaires. (5)
Un objectif de "systématisation" des contrôles
À moyen terme, le projet des dirigeant·es de France Travail est bien plus ambitieux. D'ici 2030, le document précise que le recours à l'IA vise à une "systématisation des contrôles" par l'automatisation de l'intégralité du processus de contrôle, de la sélection des personnes à contrôler à la réalisation du contrôle lui-même.
Techniquement, la chose est aisée. Il s'agira d'abord de ne pas restreindre l'accès de l'IA aux données des personnes ayant préalablement été sélectionnées pour un contrôle, mais de l'étendre au flux de données personnelles de l'ensemble des personnes inscrites. Un simple changement de son prompt (c'est-à-dire les instructions régissant le fonctionnement de toute IA générative) suffirait alors pour lui donner tant la possibilité de choisir les personnes à contrôler que celle d'échanger avec elles et eux, par mails ou SMS, afin de leur poser les questions de son choix. (6)
En cas de "doute", l'outil pourrait alors demander de lui-même des informations supplémentaires ou des pièces justificatives. Et à l'issue de ce processus de contrôle continu, l'IA décidera de clore le contrôle ou de transmettre le dossier aux équipes de contrôles en vue de sanctions.
IA et contrôle social : un nouveau paradigme
Dès lors, rien n'empêchera la multiplication de contrôles. En levant toute barrière matérielle à leur expansion, le recours à l'IA acte le passage d'un système de contrôle ponctuel et sélectif à un dispositif permanent et généralisé.
Certes, il existe d'ores et déjà des mécanismes de contrôles automatisés dont le fonctionnement réside sur l'analyse des flux de données en temps réel. Ainsi, l'ensemble des administrations sociales vérifient la quasi-totalité des déclarations des allocataires en croisant leurs informations, des contrôles étant déclenchés en cas de détection d'incohérences. Invisibles, ces contrôles sont pourtant, en nombre, les plus importants et de loin. À titre d'exemple, la CAF reporte plus de 27 millions de contrôles automatisés sur un total de 28,7 millions.
Mais ces contrôles automatisés sont aujourd'hui limités à des opérations simples, principalement la comparaison entre les déclarations et les données détenues par d'autres administrations (revenus, adresse, situation professionnelle...). L'IA générative représente une rupture dans le sens où ce sont des opérations de contrôle "complexes", nécessitant l'analyse de données multiples, la prise en compte de contextes variés et l'échange avec les personnes contrôlées qui sont désormais automatisables. Un ensemble de tâches qui, jusqu'alors, nécessitaient une intervention humaine.
Vers des formes de contrôle inédites
Dès lors, s'ouvre la possibilité non seulement de massifier les formes de contrôles existantes, mais aussi de créer de nouveaux dispositifs toujours plus fins et intrusifs. Une chose qu'ont bien compris les dirigeant·es de France Travail.
Le document que nous avons obtenu fait ainsi référence à l'utilisation de l'IA à des fins de "suivi de parcours" (7). Il s'agit d'une référence au contrôle de l'obligation de réalisation de 15 "heures d'activité" hebdomadaires. Introduite par la loi Plein Emploi, elle porte sur toute personne inscrite à France travail, qu'elle soit allocataire du RSA ou non.
Aujourd'hui, l'effectivité de cette mesure se heurte aux réalités matérielles du coût induit par le contrôle d'un tel volume d'informations sur une population de plus de 6 millions de personnes, à une fréquence hebdomadaire (8). Car, en plus de s'assurer du contrôle de la déclaration desdites "heures d'activités", il faut pouvoir s'assurer de leur cohérence - entre elles et par rapport au projet professionnel et à la situation personnelle - ainsi que de leur véracité. De fait, le travail à réaliser est titanesque et nécessiterait le recrutement de centaines de contrôleur·ses supplémentaires.
Ici, le recours à l'IA générative permettrait de fait la mise en application d'une des mesures de contrôle social les plus invasives qui n'ait jamais existé.
Un outil de répression centralisé, discriminant et opaque
Le discours développé par France Travail pour répondre aux craintes portant sur son projet est également intéressant à analyser.
Premièrement, l'IA générative ne serait qu'un simple outil "d'aide à la décision", le choix d'appliquer une sanction ou non restant du ressort des équipes de contrôles. Cette "supervision" humaine serait supposée empêcher les éventuelles erreurs que pourraient commettre une IA. Cet argument est en réalité largement relativisé par deux éléments. D'une part, il existe nécessairement ce que l'on appelle le biais d'automatisation, c'est-à-dire le fait qu'une personne humaine a tendance à suivre les conclusions d'un outil d'automatisation telle qu'une IA générative sans les remettre en question. D'autre part, l'objectif d'un tel outil est justement d'augmenter la cadence des contrôles, donc de laisser moins de temps pour une analyse humaine. Il est donc faux de laisser croire que les contrôleur·ses auront le temps de vérifier les conclusions de l'IA, alors même que l'institution ne leur en laissera pas le temps.
À ceci, France Travail ajoute que l'IA générative garantirait un contrôle plus "juste" et "équitable" via un traitement "homogène" des personnes contrôlées. Ici, France Travail omet l'essentiel : ce qui se joue est avant tout une opération de centralisation des politiques de contrôle dans les mains des dirigeant·es de l'institution. De fait, ces dernier·ères pourront décider du jour au lendemain de modifier les politiques de contrôle sans aucune concertation et en toute opacité, à travers la simple modification des instructions données à l'IA.
Deuxièmement, on notera également que les IA ne sont en aucun cas neutres ou exemptes de biais. Entraînées sur des bases de données issues d'opérations réalisées par des êtres humains, elles héritent des mêmes biais et orientations que ceux de la population : les exemples d'IA racistes ou sexistes ne sont plus à compter.
Enfin, France Travail met en avant que l'IA générative permettrait une meilleure "traçabilité" des décisions de sanction. Cet argument n'est pas recevable techniquement, les IA génératives reposant sur l'utilisation de réseaux de neurones dont une des propriétés est justement qu'ils fonctionnent en "boîte noire", c'est-à-dire qu'il n'est pas possible d'expliquer la manière dont une IA générative produit tel ou tel résultat.
Un dangereux précédent
Si le projet de France Travail voyait le jour, tout laisse à penser que l'institution serait rapidement imitée par l'ensemble des administrations sociales, de la CAF à l'Assurance maladie en passant par l'Assurance vieillesse.
Elles hériteraient des grands projets de centralisation de données construites ces vingt dernière années. Nourries aux immenses quantités de données auxquelles ces administrations ont aujourd'hui accès (revenus, déclarations fiscales, dossier médical, factures, comptes bancaires,...), elles ouvrent la voie à un contrôle dont on peine à mesurer l'ampleur.
Rappelons enfin que ces dispositifs n'auront pas le même impact pour toutes et tous. Comme nous l'avons documenté, avec d'autres, dans notre campagne France Contrôle, notre système social contrôle bien plus fortement les plus précaires d'entre nous. Ce sont donc ces personnes qui subiront en premier les conséquences psychologiques et matérielles de la généralisation de contrôles réalisés par des IA génératives.
C'est pourquoi il est fondamental que France Travail renonce à ce projet, comme aux autres. Pour freiner les vélléités autoritaires de ses dirigeant·es, vous pouvez nous faire un don. Vous pouvez également retrouver l'ensemble de nos publications sur l'utilisation par les organismes sociaux d'algorithmes à des fins de contrôle social sur notre page dédiée.
source : La Quadrature du Net