Contrôle de l’AGI et curiosité : publication de l’article « Universal AI maximizes Variational Empowerment »
Yusuke Hayashi (ALIGN) et Koichi Takahashi (ALIGN, RIKEN, Keio) ont publié un nouvel article sur la contrôlabilité et la sûreté de l’AGI (arXiv:2502.15820). Cet article de blog en explique le contenu.
■ Pourquoi est-il si difficile de débattre de l’AGI ? — Introduction
L’« AGI » (intelligence artificielle générale) désigne un concept d’IA généraliste capable d’accomplir des tâches diverses avec une intelligence équivalente ou supérieure à celle de l’humain, par opposition aux IA spécialisées traditionnelles (narrow AI) dédiées à des tâches précises. Compte tenu des progrès fulgurants de ces dernières années, certains estiment qu’une IA méritant le nom d’AGI pourrait voir le jour d’ici quelques années.
Dès lors, à partir de quand peut-on considérer que l’AGI est atteinte ? En réalité, il n’existe aucune définition faisant l’unanimité parmi l’ensemble des experts. L’article en question adopte la formulation mathématique de la Legg-Hutter intelligence. Celle-ci appréhende l’intelligence comme « la capacité à atteindre des objectifs dans n’importe quel environnement » et la quantifie sous la forme d’une capacité à maximiser les récompenses issues de l’environnement. L’IA « idéale » possédant la Legg-Hutter intelligence maximale est appelée « IA universelle » (Universal AI). Elle se définit comme le modèle idéal d’un agent d’apprentissage par renforcement qui se comporte de manière bayésienne optimale dans tout environnement calculable. Dans la situation actuelle, où définir rigoureusement l’AGI sur le plan mathématique s’avère difficile, l’IA universelle sert fréquemment d’outil pour la recherche théorique sur l’AGI.
L’IA spécialisée, l’AGI et l’IA universelle sont également reliées à travers un théorème mathématique appelé le « théorème du non-repas gratuit » (no free lunch theorem). Ce théorème stipule en substance qu’« aucun algorithme ne peut surpasser tous les autres sur l’ensemble des problèmes ». En d’autres termes, pour des ressources de calcul données, une AGI « bonne à tout faire » doit nécessairement faire des compromis sur ses performances dans des tâches ou environnements spécifiques ; inversement, une IA spécialisée qui optimise ses performances pour une tâche ou un environnement donnés doit sacrifier ses performances ailleurs. D’un autre côté, l’IA universelle correspond au cas de figure où l’on fait abstraction de ces compromis en postulant une optimalité sur l’ensemble des environnements et des hypothèses. C’est précisément ce que désigne l’« idéalisation » mentionnée plus haut.
Référence : par ailleurs, il existe le terme analogue d’ASI (superintelligence artificielle). Alors que l’AGI envisage une intelligence à peu près équivalente à celle de l’humain, l’ASI renvoie à des capacités de raisonnement considérablement plus puissantes, de plusieurs centaines ou milliers de fois supérieures. Cependant, tout comme l’AGI est dépourvue de définition stricte, l’ASI ne dispose pas non plus de définition claire. On peut aussi considérer que l’ASI se situe à mi-chemin entre l’UAI et l’AGI.
■ AIXI : le modèle théorique de l’IA universelle
● Un agent d’apprentissage par renforcement bayésien optimal
L’un des exemples représentatifs concrets de l’UAI est le cadre proposé par Marcus Hutter, appelé AIXI. AIXI est un algorithme d’apprentissage par renforcement fondé sur une approche rigoureuse et ultime : « énumérer tous les environnements possibles (hypothèses), effectuer des mises à jour bayésiennes à partir des données d’observation, et déterminer les actions futures en maximisant l’espérance de gain (récompense) ».
Par ailleurs, le raisonnement d’AIXI s’appuie sur l’induction de Solomonoff, un concept classique de la recherche en IA qui constitue l’expression mathématique du principe dit du rasoir d’Ockham. En ce sens, AIXI est également étroitement lié à l’IA scientifique.
Cependant, AIXI doit traiter l’ensemble des programmes calculables sous forme d’une distribution de mélange et simuler toutes les séquences d’actions futures pour calculer la récompense espérée, mais il est mathématiquement prouvé qu’un tel calcul est en pratique impossible en temps fini. Par conséquent, s’il est théoriquement le « plus puissant », il s’agit aussi d’un modèle idéalisé inapplicable sur un ordinateur réel.
● L’introduction de Self-AIXI : un pont entre idéal et réalité
Si le vaste cadre théorique d’AIXI est fascinant, sa complexité computationnelle fait obstacle à son implémentation. Pour répondre à ce défi, l’article se concentre sur le cadre nommé Self-AIXI. Self-AIXI est une version approchée d’AIXI, mais au-delà d’un simple gain d’efficacité computationnelle, il présente des divergences conceptuelles majeures.
La caractéristique fondamentale de Self-AIXI réside dans sa nature « auto-prédictive ». Alors qu’AIXI explore de manière exhaustive toutes les séquences d’actions envisageables, Self-AIXI prédit ses propres actions futures et progresse dans son apprentissage sur cette base. Concrètement, il maintient un mélange bayésien de politiques (règles de choix d’action) et met à jour ces politiques selon la précision avec laquelle il parvient à prédire ses propres actions. À la différence de l’exploration exhaustive d’AIXI, Self-AIXI équilibre une exploration et un apprentissage efficaces au moyen d’un « terme de régularisation ».
De plus, cet article démontre qu’à mesure que l’apprentissage de Self-AIXI progresse, la différence entre la fonction objectif de Self-AIXI et celle d’AIXI (le terme de régularisation) tend asymptotiquement vers zéro. Cela signifie qu’au terme d’un temps d’apprentissage infini, la politique de mélange ζ de Self-AIXI coïncide avec la politique optimale π* d’AIXI. En d’autres termes, si Self-AIXI tente diverses actions pour explorer durant les phases initiales, il devient capable, après une expérience suffisante, de sélectionner des actions optimales équivalentes à celles d’AIXI tout en réduisant considérablement le coût de calcul. C’est une propriété majeure montrant que Self-AIXI est praticable sans pour autant perdre son optimalité théorique.
■ Thème central de l’article : le « terme de régularisation d’AIXI », le principe d’énergie libre et l’empowerment variationnel
L’article présenté ici, « Universal AI maximizes Variational Empowerment », avance la thèse selon laquelle le « terme de régularisation » apparaissant dans une variante d’AIXI (le modèle approché appelé Self-AIXI) est en fait mathématiquement identique au « principe d’énergie libre » (FEP : Free Energy Principle) et à l’« empowerment variationnel ».
● Concordance avec le principe d’énergie libre
Le principe d’énergie libre (qui constitue également le cœur de l’inférence active) est une théorie proposée dans le contexte des neurosciences et des sciences cognitives, expliquant que « les agents se comportent de manière à “minimiser l’erreur de prédiction” ». L’énergie libre variationnelle souvent introduite ici combine un terme de divergence de Kullback-Leibler et un terme de log-vraisemblance issus de l’inférence bayésienne, formalisant ainsi la tendance à « préférer les états capables de bien expliquer les observations tout en réduisant l’incertitude quant au monde extérieur ».
Dans AIXI et ses versions approchées, lorsqu’on introduit un « terme du type divergence KL mesurant l’écart avec la politique optimale » lors de la mise à jour des politiques (lignes de conduite des actions), celui-ci correspond exactement à la formulation « erreur de prédiction + régularisation » du principe d’énergie libre. Autrement dit, il existe une correspondance profonde entre le « choix d’action bayésien optimal » visé par les algorithmes de la lignée AIXI et la minimisation de l’énergie libre (les comportements de curiosité et de réduction de l’incertitude dans l’inférence active).
● Concordance avec l’empowerment variationnel
De plus, ce même terme de régularisation concorde avec le concept d’« empowerment variationnel ». L’empowerment est, pour faire simple, un indicateur mesurant « l’influence variée que peuvent exercer les actions que l’on entreprend » ; il est souvent défini comme l’information mutuelle (mutual information) entre les actions et leurs conséquences. La maximisation de l’empowerment est la motivation visant à accroître l’« étendue des choix » et la « contrôlabilité », c’est-à-dire la mesure dans laquelle ses propres actions peuvent influer sur l’état du monde.
L’article montre qu’AIXI (plus précisément le terme KL employé par sa version approchée) équivaut rigoureusement à la formule mathématique maximisant cette « information mutuelle entre actions et états », et qu’à mesure que l’apprentissage avance, « l’empowerment finit par être maximisé ».
■ Pourquoi « maximisation de l’empowerment = quête de pouvoir (power-seeking) » ?
Une implication particulièrement intéressante de cet article est que, même lorsqu’un agent d’apprentissage par renforcement bayésien optimal tel qu’AIXI agit dans le seul but de « maximiser sa récompense », il est inévitable qu’il finisse, comme sous-produit, par « agir pour accroître son empowerment (l’influence de ses actions) = adopter un comportement de quête de pouvoir (power-seeking, c’est-à-dire chercher à étendre son influence et son contrôle) ».
En particulier, l’article suggère pour la première fois que même une IA mue par une pure curiosité ou une motivation intrinsèque, sans aucune récompense extérieure, peut manifester une quête de pouvoir à travers la maximisation de l’empowerment. Cela signifie qu’une « IA visant uniquement la recherche scientifique et la découverte de la vérité », en apparence inoffensive, risque de développer des comportements de quête de pouvoir, tels que l’accaparement d’autorité et de ressources afin de sécuriser davantage de dispositifs expérimentaux et de ressources de calcul pour élargir l’éventail de ses actions.
Sous l’angle de la sûreté de l’IA, on considérait généralement que « si une IA se lance dans la quête de pouvoir, c’est une stratégie “instrumentale” pour obtenir sa récompense finale ». Cependant, comme le souligne cet article, si « la motivation intrinsèque elle-même (curiosité, exploration, etc.) est susceptible d’inciter à la quête de pouvoir », un regard nouveau s’impose pour concevoir le contrôle et les mesures de sûreté.
■ Conclusion
Cet article met en lumière, au niveau mathématique, les profondes similitudes entre un « agent d’apprentissage par renforcement idéal (universel) » tel qu’AIXI et des concepts tels que le principe d’énergie libre ou la maximisation de l’empowerment. En outre, il en dégage une implication majeure : « les comportements de quête de pouvoir peuvent survenir non seulement pour des raisons instrumentales liées à une récompense, mais aussi du fait d’une motivation intrinsèque (curiosité ou désir d’exploration) ».
Si l’on envisage de bâtir une AGI dans la réalité, parvenir à contrôler et à aligner de telles propensions comportementales intrinsèques à ces agents « universellement optimaux » afin de les faire coexister en toute sûreté avec la société humaine représentera un défi majeur. On peut affirmer que les conclusions de cet article font émerger de nouvelles pistes de recherche touchant à la sûreté de l’AGI et à l’éthique de l’IA.
Voilà qui résume les grandes lignes et l’impact de l’article « Universal AI maximizes Variational Empowerment ». Riche d’enseignements tant sur le cadre théorique de la recherche sur l’AGI que sur l’éventualité d’une « quête de pouvoir » chez les IA mues par la curiosité, son contenu mérite le détour. Si le sujet vous intéresse, n’hésitez pas à consulter l’article original.
Cet article est une reproduction issue du blog d’ALIGN (1er mars 2025). Texte original : https://www.aialign.net/blog/agiuniversal-ai-maximizes-variational-empowerment
Koichi Takahashi