L’AGI qui se profile au-delà de la course à l’échelle et le risque de concentration (Théorie de l’AGI, l’AGI et la société, et le choix du Japon : volet 2)

Introduction

Le développement actuel de l’IA s’explique en grande partie par les « lois d’échelle ». En d’autres termes, l’augmentation exponentielle du nombre de paramètres des modèles, du volume de données utilisées pour l’entraînement et des ressources de calcul (FLOPs) permet d’améliorer les performances et rend possibles des tâches jusqu’alors jugées hors de portée. La question de savoir si l’« AGI (intelligence artificielle générale) » se trouve dans le prolongement de cette trajectoire suscite un vif intérêt.

Dans le précédent Volet 1, nous avons montré que des recherches théoriques suggérant que les modèles de type Transformer peuvent converger de manière asymptotique vers l’induction de Solomonoff (SI) ont été publiées de façon concomitante ces dernières années, et que les contours d’une AGI commencent à se dessiner dans le prolongement de la course au changement d’échelle. De plus, compte tenu de l’impact immense qu’aurait l’avènement éventuel de l’AGI sur la société, nous avons soutenu qu’il est risqué de poser la forte hypothèse selon laquelle « l’AGI n’existerait pas dans le prolongement de la concurrence technologique actuelle ».

Par conséquent, la société doit pleinement prendre conscience du scénario selon lequel « l’AGI ne surviendrait pas par un saut qualitatif soudain, mais pourrait être atteinte de façon continue ».


Dans cette série de trois articles, nous abordons la possibilité d’une continuité entre la course contemporaine au développement de l’IA et l’AGI, ainsi que ses implications, sous les trois angles suivants :

  • Volet 1 : Présentation de récents travaux en théorie de l’apprentissage suggérant que les modèles fondés sur les Transformers peuvent tendre asymptotiquement vers l’induction de Solomonoff, montrant qu’une continuité bien plus étroite qu’on ne le pensait pourrait exister entre l’IA actuelle et l’AGI.
  • Volet 2 (cet article) : À la lumière de cette continuité potentielle entre l’IA et l’AGI, examen de la signification de la course à l’échelle menée par les géants américains et chinois, ainsi que des enjeux stratégiques pour bâtir un avenir souhaitable.
  • Volet 3 : Réflexion sur les orientations en matière de recherche et de politiques publiques que le Japon devrait adopter, assortie de plusieurs propositions concrètes.

Continuité entre mise à l’échelle et AGI

− Envisager la possibilité d’atteindre l’AGI sans rupture fondamentale −

Une position a longtemps consisté à penser que l’avènement de l’AGI nécessiterait des « algorithmes fondamentalement nouveaux » ou un « paradigme inconnu ». Toutefois, les progrès de la recherche théorique relativisent ce point de vue. Les algorithmes d’apprentissage actuels fondés sur les Transformers pourraient se rapprocher de l’induction de Solomonoff à mesure que les données et le calcul augmentent. Si tel est le cas, le chemin vers l’AGI peut être décrit non pas comme une « rupture », mais comme une « approche asymptotique ».

Avec toute la rigueur académique qui s’impose, il ne s’agit évidemment pas d’affirmer catégoriquement que « l’AGI verra nécessairement le jour ». Tout ce que l’on peut dire se résume à l’existence d’une « continuité théorique ». Cependant, cette nuance a une portée considérable pour la société. En effet, dans la mesure où l’on ignore encore quelle ampleur de mise à l’échelle sera nécessaire pour parvenir à l’AGI, négliger la préparation à son éventuelle réalisation entraînerait un retard irrattrapable si celle-ci devait effectivement se concrétiser.

Placer le scénario d’une « accession à l’AGI » au cœur de la réflexion

Le principe fondamental de l’évaluation des risques est le suivant :

Priorité d’examen = Probabilité d’occurrence × Impact en cas de concrétisation

Considérant l’impact extrêmement vaste et profond qu’aurait l’avènement de technologies d’AGI sur la société, même si la probabilité de réalisation comporte un degré d’incertitude non négligeable, retenir le fait de « ne pas atteindre l’AGI » comme scénario de référence s’avérerait trop risqué.

Ce raisonnement rappelle les débats relatifs à la lutte contre le changement climatique. Même si le réchauffement s’avérait moins prononcé que prévu, investir dans la préparation conserve une certaine valeur. En revanche, si le réchauffement progressait rapidement en l’absence de toute préparation, la société ferait face à une crise majeure. Pour l’AGI, il est tout aussi rationnel, dans l’élaboration des politiques et des cadres institutionnels, de retenir l’« accession à l’AGI » comme l’un des scénarios directeurs centraux. Même si l’AGI ne voyait finalement jamais le jour, cela signifierait simplement qu’un type de catastrophe envisagé ne s’est pas matérialisé, sans que les préparatifs engagés n’aient été pour autant nécessairement vains.

Risque de concentration et scénarios alternatifs

De nombreux analystes ont déjà tiré la sonnette d’alarme quant aux risques majeurs liés à la monopolisation ou à l’oligopolisation des technologies d’IA de pointe, à commencer par l’AGI, par une poignée de nations ou d’acteurs.

Le scénario du singleton

La notion de « singleton » apparaît fréquemment lorsque l’on évoque l’AGI et, au-delà, la superintelligence (ASI). Elle a été proposée par Nick Bostrom, anciennement de l’Université d’Oxford. L’AGI désigne une technologie capable de se substituer à l’ensemble des tâches intellectuelles réalisables par l’être humain. Comme les tâches humaines incluent l’amélioration de l’IA, cela signifie que l’AGI pourra également s’améliorer elle-même. En d’autres termes, dès lors qu’une IA atteint un certain niveau de capacité de raisonnement, elle devient capable d’exécuter une boucle d’auto-amélioration sans aide humaine. Le singleton désigne un état dans lequel un acteur unique (une IA ou l’organisation qui la possède) détient le monopole d’une intelligence écrasante, fruit de gains de performance exponentiels permis par cette boucle d’auto-amélioration. Bostrom soutient qu’une fois cet état atteint, l’amplification exponentielle de l’écart initial de compétences rendrait difficile tout renversement de cette situation de quasi-monopole (obtention d’un « avantage stratégique décisif decisive strategic advantage »). L’émergence d’un singleton dicterait unilatéralement l’avenir de la planète entière par ses seules actions, ce qui pourrait être directement lié à un « risque existentiel » pour l’humanité.

Le scénario multipolaire

Bien que la plausibilité du scénario du singleton soit débattue sous divers angles par Bostrom et d’autres chercheurs, il peut être considéré comme une hypothèse extrême faisant abstraction des contraintes physiques et sociales. Si aucun singleton n’émergeait, l’hypothèse suivante serait le « scénario multipolaire ». Dans ce dernier, plusieurs acteurs (États, entreprises, etc.) se partagent de manière oligopolistique les technologies d’AGI/ASI et se trouvent en situation de concurrence mutuelle. Même si les acteurs sont multiples, dès lors qu’ils restent peu nombreux, un fossé de puissance considérable se creuse entre ceux qui disposent des technologies d’AGI/ASI et ceux qui en sont dépourvus. De plus, la concurrence permanente entre AGI/ASI rendrait ce scénario instable, augmentant la probabilité d’accidents ou de désastres trouvant leur origine dans les technologies de l’IA.

Le scénario écosystémique

Face à ces scénarios peu souhaitables, une alternative plus favorable est le « scénario écosystémique ». Ici, on n’envisage pas seulement une simple multipolarité, mais la formation d’un réseau d’IA interdépendantes. En interconnectant divers types d’agents d’IA, y compris des AGI, avec les individus, personnes morales et autres entités composant la société humaine, des relations d’interdépendance, de vérification mutuelle, de contrôle réciproque, de délégation partagée, d’audit mutuel et de complémentarité se structurent de manière complexe et spontanée. L’objectif est d’obtenir une robustesse comparable à celle d’un écosystème naturel. Il s’agit là aussi d’une approche originale, nourrie par une sensibilité orientale et développée par des chercheurs japonais.

L’approche par réseau écosystémique présente de multiples avantages. Si une IA venait à dériver, d’autres nœuds assureraient la vérification et le contrôle, permettant un fonctionnement stable de l’ensemble du système composite formé par la société humaine et l’IA. De plus, la coexistence de modèles d’IA reposant sur des architectures, des données et des contextes culturels variés réduit le risque qu’une faille unique n’affecte l’ensemble du système. Cette approche garantit la transparence par des audits réciproques et fournit un mécanisme de vérification de la pertinence des décisions et des résultats sous des angles multiples. En somme, intégrer l’IA au sein de la société humaine sous la forme d’un réseau écosystémique apparaît comme une voie souhaitable du point de vue de la sûreté et de la fiabilité.

Note complémentaire : La structuration d’un réseau complexe ne garantit toutefois pas automatiquement qu’il sera bénéfique pour la société humaine. Mettre en lumière, sur les plans théorique et mathématique, les conditions requises pour que ce système composite société humaine-IA fonctionne de manière stable et saine constitue l’un des thèmes de recherche majeurs de notre réseau pour l’alignement de l’IA.


Une explication détaillée de ces scénarios et de leurs conditions d’émergence est proposée dans l’article suivant :

Scénarios et points de bifurcation relatifs à l’intelligence mécanique future, Revue de la Société japonaise d’intelligence artificielle Vol. 33 n° 6 (2018/11)


La nécessité d’une concurrence multipolaire internationale

À l’heure actuelle, le développement de l’IA de pointe, qui requiert des capitaux et des infrastructures colossaux, est concentré entre les mains de quelques géants américains et chinois. Ces entreprises mènent la course à l’échelle en s’appuyant sur d’immenses ressources de calcul et de gigantesques volumes de données d’entraînement. Si les accomplissements techniques sont majeurs, ils sont géographiquement extrêmement déséquilibrés. Cette structure soulève de réelles inquiétudes, car elle concrétise le risque d’une concentration future.

Pour renforcer la stabilité de l’ensemble de la société humaine après l’avènement éventuel des technologies d’AGI, il est impératif de faire émerger le plus grand nombre possible de nouveaux pôles — un troisième, un quatrième, voire davantage — aux côtés des États-Unis et de la Chine. Si plusieurs pays et entreprises s’imposent comme des acteurs de premier plan, la probabilité d’orienter la structure multipolaire vers une organisation en réseau écosystémique s’en trouvera accrue. De plus, pour assurer la robustesse et l’antifragilité de la société dans son ensemble, il est essentiel que ces acteurs soient issus de contextes culturels et techniques variés et qu’une pluralité de valeurs soit préservée.

Le Japon, l’Europe, l’Inde ou encore les pays du Moyen-Orient font figure de candidats potentiels pour ces troisième et quatrième pôles. Parmi eux, le Japon réunit particulièrement les conditions requises en matière de socle technologique, de talents de recherche et de confiance sur la scène internationale, et pourrait endosser ce rôle grâce à des investissements à grande échelle.

Conclusion

Le constat dressé par la recherche théorique, selon lequel « l’AGI se situerait dans le prolongement continu de la course à l’échelle », modifie profondément les hypothèses de départ pour la société. Si l’on comprend que l’AGI est susceptible d’être atteinte par « approche asymptotique » et non par un « saut qualitatif », l’ordre de priorité des préparatifs s’en trouve considérablement bouleversé.

En clair, tout en regardant en face le danger d’un oligopole des technologies d’AGI par un petit nombre d’acteurs, il est nécessaire qu’un plus grand nombre de pays investissent activement afin de promouvoir l’édification d’une IA en réseau multipolaire et interdépendant, et de faire émerger des forces capables de faire pendant aux États-Unis et à la Chine.

Pour le Japon, cette trajectoire permet à la fois d’accroître la stabilité de la société humaine et de préserver sa propre compétitivité en tant que nation développée. Dans le prochain Volet 3, nous formulerons des propositions concrètes sur les initiatives à prendre et les politiques à mettre en œuvre par le Japon dans ce contexte technique et international.

Vers le volet 3


Cet article est une republication issue du blog ALIGN (10 octobre 2025). Texte original : https://www.aialign.net/blog/transformer-agi-part2

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in