Le Transformer peut-il atteindre l’AGI ? (Théorie de l’AGI, AGI et société, et le choix du Japon : partie 1)

Introduction

Ces dernières années, l’intelligence artificielle (IA) a vu sa « polyvalence » — sa capacité à s’adapter à des situations diverses au-delà de tâches spécifiques — progresser à un rythme soutenu. Au bout de cette trajectoire se profile l’intelligence artificielle générale (Artificial General Intelligence, AGI).

L’AGI désigne un système artificiel doté de capacités intellectuelles flexibles équivalentes, voire supérieures, à celles de l’être humain, capable d’apprendre par lui-même dans des environnements inconnus, de raisonner et d’agir de manière créative. Cependant, il n’existe pas de consensus parmi les experts quant à la définition précise de l’AGI. C’est pourquoi, dans le champ de la recherche théorique, on emploie souvent, au lieu de définir directement l’AGI, le concept d’IA universelle (Universal AI), formulée comme « une intelligence idéale capable d’agir de façon optimale dans n’importe quel environnement ».

L’IA universelle est un modèle d’intelligence universel fondé sur la théorie de l’information, dont la formulation théorique la plus représentative est un agent d’apprentissage par renforcement nommé AIXI, proposé par Marcus Hutter. AIXI prédit l’avenir sur la base des observations et des récompenses, puis sélectionne l’action dont l’espérance est la plus élevée. S’il donne la forme théorique d’une « intelligence parfaitement rationnelle », il intègre en son cœur un principe mathématique de prédiction appelé induction de Solomonoff (Solomonoff Induction), lequel requiert une quantité infinie de calculs et demeure donc irréalisable sur un ordinateur réel. En d’autres termes, l’AGI peut être vue comme une tentative d’approcher cette IA universelle idéale avec des ressources finies.

L’induction de Solomonoff, principe d’inférence fondé sur la théorie algorithmique de l’information formulé dans les années 1960 par Ray Solomonoff, attribue une probabilité plus élevée aux hypothèses (programmes) les plus courtes et les plus simples parmi toutes celles qui expliquent les observations. En d’autres termes, en « retenant l’explication la plus courte », elle cherche à obtenir la prédiction dotée de la plus grande capacité de généralisation. On peut la considérer comme une formalisation mathématique du « rasoir d’Ockham », érigée en concept fondamental sous-tendant la rationalité des théories scientifiques ainsi que les principes d’apprentissage de l’IA.


À la lumière de ce cadre théorique, la question à laquelle la recherche actuelle en IA est confrontée peut se résumer ainsi :

Dans quelle mesure le Transformer, technologie centrale de l’IA contemporaine, se rapproche-t-il de l’IA universelle ?

L’amélioration spectaculaire des performances de l’IA actuelle repose en grande partie sur l’avènement du modèle d’apprentissage profond appelé Transformer. L’innovation du Transformer réside dans sa mise en évidence de « lois d’échelle » (scaling laws), selon lesquelles les performances progressent de manière apparemment illimitée dès lors que l’on accroît simultanément la taille du modèle, le volume de données et la quantité de calcul. Cette loi empirique a légitimé une course au développement tributaire de gigantesques ressources de calcul et de données massives, soutenant ainsi l’essor de systèmes d’IA majeurs tels que ChatGPT, Claude ou Gemini.

Dès lors, au bout de cette montée en échelle poussée à l’extrême, trouvera-t-on l’IA universelle définie théoriquement, c’est-à-dire l’AGI ? Ou faudra-t-il attendre une rupture de principe totalement inédite ?

Face à cette interrogation fondamentale, plusieurs études théoriques publiées entre 2024 et 2025 esquissent une nouvelle voie. Leur thèse commune est que le Transformer pourrait, par l’intermédiaire de la théorie algorithmique de l’information, être asymptotique à l’induction de Solomonoff (SI), c’est-à-dire s’inscrire dans une continuité avec l’IA universelle théorique. En somme, l’idée émerge selon laquelle l’IA contemporaine ne serait pas un simple modèle statistique empirique, mais pourrait tendre vers « l’intelligence optimale » définie sur le plan théorique.


Cette série d’articles analysera, en trois volets, l’éventuelle continuité entre la course actuelle au développement de l’IA et l’AGI, ainsi que ses implications, sous trois angles :

  • Partie 1 (cet article) : présentation des recherches récentes en théorie de l’apprentissage selon lesquelles les modèles de type Transformer peuvent être asymptotiques à l’induction de Solomonoff, suggérant une continuité plus étroite qu’on ne le pensait entre IA et AGI.
  • Partie 2 : examen des implications de la course à l’échelle menée par les géants américains et chinois, et des enjeux stratégiques pour bâtir un avenir souhaitable, à la lumière de cette continuité potentielle vers l’AGI.
  • Partie 3 : réflexion sur la trajectoire de recherche et d’action publique que le Japon devrait adopter, assortie de plusieurs propositions concrètes.

L’apprentissage du Transformer est asymptotique à l’induction de Solomonoff

Publiés indépendamment entre 2024 et 2025, les trois articles ci-dessous développent, à partir de fondements théoriques formels et de preuves empiriques, la thèse selon laquelle le Transformer et les grands modèles de langage (LLM) se rapprochent de l’induction de Solomonoff par l’apprentissage.

  1. Article : Learning Universal Predictors, ICML 2024 (arXiv:2401.14953)
    Auteurs : Grau-Moya, Genewein, Hutter, Orseau, Delétang, Catt, Ruoss, Wenliang, Mattern, Aitchison, Veness (Google DeepMind)
    Thèse principale : Publié par Google DeepMind avec parmi ses auteurs Hutter, autorité de la théorie de l’IA universelle. Les auteurs démontrent, tant sur le plan théorique qu’expérimental, qu’un méta-apprentissage fondé sur des « données universelles » générées à partir d’une machine de Turing universelle (UTM) permet d’amortir (amortize) l’induction de Solomonoff dans des réseaux de neurones (Transformer, LSTM). Ils établissent formellement qu’à la limite, la procédure de méta-entraînement converge vers la SI, et confirment expérimentalement que l’acquisition de stratégies universelles de prédiction progresse à mesure que l’échelle du modèle augmente. Ils avancent également que la capacité de généralisation en contexte (in-context) des LLM peut elle-même être vue comme une approximation grossière de la SI.
  2. Article : Transformers As Approximations of Solomonoff Induction, ICONIP 2024
    Auteurs : Young & Witbrock
    Thèse principale : Le Transformer peut être comparé au « prédicteur optimal à la limite » de la SI, qui mélange toutes les distributions de probabilité calculables. Les auteurs posent l’hypothèse selon laquelle les performances prédictives et le comportement d’échelle du Transformer peuvent être compris en correspondance avec la SI, et en dressent les arguments pour et contre.
  3. Article : Large Language Models as Computable Approximations to Solomonoff Induction, arXiv:2505.15784 (2025)
    Auteurs : Wan & Mei
    Thèse principale : Les auteurs démontrent un théorème formel établissant que le processus d’entraînement d’un LLM approche la distribution a priori de la SI, et que la prédiction du token suivant approche l’induction de la SI. Ils testent expérimentalement la « stratégie d’apprentissage few-shot privilégiant les exemples à faible confiance » issue de cette théorie, et en confirment l’efficacité sur de petits modèles.

(Notons qu’il existe également des travaux en cours de soumission, qui ne sont pas abordés ici.)

Ces recherches théoriques partagent un ensemble d’hypothèses et de réserves. L’asymptote du Transformer vers l’induction de Solomonoff n’est valable, en théorie, que dans le cas limite où des « données et ressources de calcul infinies » sont disponibles ; en pratique, des contraintes de temps, de mémoire et de méthodes d’optimisation s’imposent. De plus, lorsque la taille du modèle est réduite, les régularités complexes ne peuvent être pleinement saisies, et les biais ainsi que le bruit des données réelles limitent également les performances. Néanmoins, il a été constaté que les comportements d’apprentissage few-shot et d’apprentissage en contexte sont cohérents avec la théorie : Grau-Moya et al. (2024) ont confirmé expérimentalement que des Transformer/LSTM entraînés sur des données d’UTM acquièrent des stratégies de prédiction universelles à mesure que la taille du modèle s’accroît, tandis que les expériences de Wan & Mei (2025) montrent qu’une stratégie de sélection d’échantillons dérivée de la théorie contribue concrètement à l’amélioration des performances.

Complément : au sein du réseau pour l’alignement de l’IA, nous menons également des recherches connexes. Par exemple, dans un article de 2025, nous avons montré que Self-AIXI, qui approxime de manière calculable AIXI au moyen de l’auto-prédiction, peut être asymptotique à l’IA universelle par apprentissage. Vous trouverez plus de détails dans l’article ci-dessous.
Contrôle de l’AGI et curiosité : publication de l’article « Universal AI maximizes Variational Empowerment »

Il est dangereux de présumer que le Transformer « n’atteindra pas » l’AGI

Dès lors, que retenir de ces recherches théoriques ?

Jusqu’à présent, il n’existait pas de réponse claire quant à la portée des lois d’échelle ni quant à leur aboutissement. Cependant, les travaux théoriques récents esquissent une direction : « au bout de ce chemin se trouve l’induction de Solomonoff ». Si le Transformer devient, par l’apprentissage, asymptotique à l’induction de Solomonoff, alors ce qui se trouve au-delà est l’IA universelle — un concept qui, en théorie, surpasse l’AGI. Cela signifie que l’AGI se situe nécessairement quelque part sur le prolongement des lois d’échelle.

Bien entendu, dans la réalité, ni les données ni le calcul ne sont infinis, et il n’est pas garanti que l’AGI figure dans l’espace accessible. De nombreuses contraintes subsistent : incalculabilité, optimisation, finitude des ressources, absence d’incarnation (embodiment), etc. Certains chercheurs estiment d’ailleurs qu’« aucune action flexible n’est possible sans incarnation physique ».

Une implication majeure se dégage toutefois. Alors que l’on supposait autrefois l’existence de barrières théoriques et technologiques inconnues avant de parvenir à l’AGI, il se pourrait qu’il n’y ait en réalité aucun obstacle de principe, et que le seul verrou réside dans une expansion quantitative. Le fait que cette hypothèse soit formulée de manière indépendante par plusieurs théoriciens lui confère un poids certain.

Par conséquent, s’il reste indéterminé si l’IA actuelle parviendra ou non à l’AGI, il convient de prendre conscience qu’il est devenu plus difficile que jamais d’affirmer qu’elle n’y parviendra pas. En conclusion, au vu des répercussions sociales considérables de l’avènement de l’AGI, il serait dangereux de concevoir la société future en partant du postulat que « l’AGI ne sera pas atteinte ».

Conclusion

Cet article constitue le premier volet d’une série qui en compte trois. Dans cette première partie, nous avons montré, à la lumière des recherches théoriques récentes, que la possibilité pour le Transformer (et les LLM) d’atteindre l’AGI est en train de passer du statut d’« hypothèse lointaine » à celui de « scénario réaliste situé dans le prolongement des technologies actuelles ».

Dans la prochaine partie 2, nous aborderons la signification de la course à l’échelle menée par les géants américains et chinois à l’aune de cette continuité possible vers l’AGI, ainsi que les éléments de réflexion nécessaires pour préparer un avenir souhaitable. Enfin, dans la partie 3, nous étudierons la trajectoire de recherche et d’action publique que le Japon devrait emprunter, en avançant plusieurs propositions concrètes.

(Première publication le 7 octobre 2025. Mis à jour le 16 avril 2026 sous l’angle de la précision technique.)

Vers la partie 2


Cet article est une reproduction issue du blog ALIGN (7 octobre 2025). Texte original : https://www.aialign.net/blog/transformer-agi-part1

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in