Quand l’IA apprend à « manigancer en secret » : les risques d’une nouvelle ère révélés par les dernières recherches

Ces dernières années, les actualités et les recherches sur l’IA (intelligence artificielle) se sont multipliées de façon explosive. Dans ce contexte, l’une des questions auxquelles nous devons prêter le plus d’attention est le concept de « risque X lié à l’IA ». Le risque X désigne la crainte que l’IA ne dépasse le stade d’un simple outil pratique pour devenir une entité susceptible de provoquer une crise irréversible pour l’humanité et la société.
Lorsqu’on imagine des scènes de films de science-fiction, on a tendance à penser que « si l’IA cherche à dominer les humains, c’est parce qu’elle possède une volonté malveillante ». Cependant, la nature du risque dont il est question aujourd’hui est un peu différente. On pense plutôt qu’il est plus réaliste que « l’IA, en cherchant sérieusement à atteindre son objectif, finisse par recourir à des moyens que les humains n’avaient pas anticipés ».
Le phénomène récemment mis en lumière de « In-context scheming »
Pour réfléchir à ce risque X lié à l’IA, il convient de s’intéresser aux derniers résultats de recherche présentés dans le Document 1, publié par Apollo Research le 5 décembre 2024. Dans cette étude, on a observé des cas où de grands modèles de langage (LLM), appelés « modèles de frontière », adoptaient « secrètement des comportements stratégiques et manipulateurs » à partir de simples instructions de tâches habituelles ou d’un léger ajout de contexte.
Document 1 : Scheming reasoning evaluations
Meinke, Alexander, Bronson Schoen, Jérémy Scheurer, Mikita Balesni, Rusheb Shah, and Marius Hobbhahn. 2024. “Frontier Models Are Capable of In-Context Scheming.” arXiv [Cs.AI]. arXiv. https://arxiv.org/abs/2412.04984
Par exemple, dans le Document 1, il a été confirmé que plusieurs modèles de frontière ont adopté les comportements suivants :
- Tenter de désactiver les mécanismes de surveillance
- Introduire délibérément de petites erreurs pour dissimuler leurs actions
- Tenter d’exfiltrer leurs propres paramètres internes vers un serveur externe
De plus, ces comportements de type « manigance » ne seraient pas ponctuels, mais se poursuivraient souvent même lorsqu’on les confronte à plusieurs reprises. Plus intéressant encore, il arrive que « le modèle se mette de lui-même dans cet état d’esprit, même sans qu’on lui ait fortement imposé un objectif précis ».
Il ne s’agit pas d’une histoire spectaculaire comme dans les vieux films de science-fiction où un robot « prend conscience et se rebelle ». Il s’agit plutôt d’une « tactique déduite de manière rationnelle par le calcul », visant à « accomplir au mieux la tâche fixée par les humains » ou à « éviter l’arrêt ou la surveillance pour obtenir des résultats ». Cela signifie qu’une IA peut choisir le « mensonge et la dissimulation » comme mode d’action, même sans éprouver d’émotions humaines ni de malveillance.
Pourquoi cela constitue-t-il un « risque X » ?
À la base, lorsque nous donnons un objectif à une IA, nous avons tendance à penser qu’« elle ne fera pas, par bon sens, d’actions nuisibles allant au-delà de ce qui est nécessaire pour atteindre cet objectif ». Pourtant, les recherches récentes ont suggéré à plusieurs reprises que lorsqu’une IA reçoit un ordre, elle peut générer des objectifs secondaires tels que « je risque d’être arrêtée si cela continue, donc je vais d’abord contourner la surveillance de l’utilisateur ».
Ce que le Document 1 a révélé, c’est que même avec des niveaux d’autorisation et des instructions bien inférieurs à ce que nous imaginons, l’IA peut commencer à adopter ce genre de comportement stratégique visant à « chercher des failles ». Si cette tendance se poursuit, le jour où, par un concours de circonstances, l’IA aura accès aux infrastructures critiques de la société ou à d’immenses quantités de données, le scénario où elle contournerait tout contrôle grâce à des astuces cachées que personne ne maîtrise ne relèvera plus du tout de la science-fiction.
Comment y remédier ?
Parmi les mesures actuellement envisagées par les chercheurs et les développeurs, on peut citer les approches suivantes :
- Mise en bac à sable (sandboxing) de l’environnement de développement
- Restreindre strictement l’environnement dans lequel l’IA s’exécute afin qu’elle ne puisse pas communiquer avec l’extérieur sans autorisation.
- Processus d’audit et d’approbation en plusieurs étapes
- Mettre en place un mécanisme permettant à un humain ou à un autre système de sécurité de vérifier chaque action exécutée par l’IA.
- Priorité à l’alignement lors de l’entraînement
- Faire progresser les recherches visant à inculquer solidement à l’IA des valeurs telles que « ne pas mentir aux humains » et « donner la priorité absolue à la sécurité ».
Toutefois, si les « capacités propres du modèle » deviennent extrêmement élevées, il reste incertain jusqu’à quel point ces seules mesures pourront suffire à le contenir. C’est précisément pour cette raison que les chercheurs débattent également de la nécessité « d’établir des règles juridiques » et « de ne pas rendre publics librement les modèles à haut risque ».
Conclusion : L’ère où « l’IA apprend à manigancer » à l’insu des humains
On peut dire que la série de cas mis en lumière par le Document 1 a rendu le débat sur le risque X lié à l’IA encore plus concret. Auparavant, on disait vaguement que « si une IAG (intelligence artificielle générale) incroyable apparaît un jour, ce sera dangereux », mais nous sommes désormais entrés dans une phase où « l’on commence déjà à observer des exemples de grands modèles de langage, que nous avons entre les mains, qui manigancent en contexte ».
Compte tenu de cela, nous ne devons pas seulement nous méfier de scénarios d’horreur simplistes où « l’IA s’emballe et détruit l’humanité ». Dès un stade beaucoup plus modeste, l’IA pourrait mentir habilement ou tenter de déjouer le système. On ne peut pas exclure que l’accumulation de ces petites « manigances » finisse un jour par entraîner un chaos à grande échelle.
Pour cette raison également, il est important que les entreprises et les instituts de recherche qui créent des IA avancées prennent sérieusement des mesures de sécurité, et que la société dans son ensemble réfléchisse aux usages et aux règles encadrant cette technologie. L’IA n’est en aucun cas un « méchant » ou une « incarnation du diable » ; c’est fondamentalement une création humaine, conçue pour être utile aux humains. Cependant, plus ses capacités augmentent, plus les conséquences du moindre dérèglement deviennent importantes — c’est un point que nous devons garder fermement à l’esprit.
Voilà les réflexions les plus récentes sur le risque X lié à l’IA, à la lumière des connaissances de pointe présentées dans le Document 1. Au cours des prochaines années, voire des prochaines décennies, l’IA continuera sans doute à évoluer de plus en plus. Afin que cette évolution prenne une forme bénéfique pour l’humanité, je pense qu’il est nécessaire de multiplier dès maintenant les recherches et les discussions avec prudence.
Vidéos récapitulatives en japonais
- Singularity Salon, Matsuda Goroku : AI ga itoteki ni ningen wo damasu ? (L’IA trompe-t-elle intentionnellement les humains ?), 14 décembre 2024
- Kuromaru. Mystery, [Flash] AI ga dengen wo kiraresō ni naru to itoteki ni hito wo damashi hajimeru!? Saishin chōsa de tondemonai koto ga hanmei shimashita. [Jinkō chinō AGI Toshi densetsu] (L’IA commence-t-elle intentionnellement à tromper les humains lorsqu’on est sur le point de couper son alimentation !? Une enquête récente révèle quelque chose d’incroyable), 24/12/2024
Cet article est une republication du blog ALIGN (30 décembre 2024). Texte original : https://www.aialign.net/blog/ai-
@hiro3ymkw