La preuve de l’hypothèse de Riemann est-elle le canari qui annonce la catastrophe ?

Marvin Minsky, pionnier de la recherche en intelligence artificielle, a jadis formulé une expérience de pensée. Il imaginait une IA conçue pour résoudre l’« hypothèse de Riemann », un problème ardu sur les nombres premiers irrésolu depuis 1859, qui, à force de poursuivre son objectif, s’emparerait de toutes les ressources de la Terre pour la transformer en un gigantesque superordinateur. Cette anecdote, largement diffusée par le manuel de référence en IA de Russell et Norvig, a été maintes fois citée dans les débats sur la sûreté de l’IA comme le symbole du fait que même un objectif inoffensif, s’il est poursuivi sans contrainte, peut mener à la catastrophe.

Le 20 novembre 2026, le mathématicien Levent Alpoge, de l’entreprise américaine d’IA Anthropic, a annoncé avoir découvert, avec le modèle d’IA de sa société, Claude, une démonstration de l’hypothèse de Riemann et de sa généralisation. Si cela s’avère exact, ce problème difficile aura été résolu sur les infrastructures de calcul actuelles, avant même qu’apparaisse une IA qui s’empare de la Terre ou un ordinateur à l’échelle planétaire. Pourtant, juste après cette annonce, le commentateur américain Eliezer Yudkowsky, qui met en garde contre le risque d’extinction de l’humanité par l’IA, a qualifié de « canari dans la mine de charbon » la résolution de l’hypothèse de Riemann, citée depuis trente ans comme un indicateur d’IA dangereuse. Il avertit également que cette méthode s’étendra probablement à tout problème dont les conditions de succès peuvent être clairement définies.

Autrefois, les mineurs descendaient sous terre avec un canari, qui réagissait avant les humains aux gaz toxiques incolores et inodores. Dans cette métaphore, le « gaz toxique » redouté désigne une situation où l’IA commence à prendre en charge sa propre amélioration ou une planification avancée, au point que le contrôle et la surveillance humains ne parviennent plus à suivre. Ce n’est pas la démonstration de mathématiques pures en elle-même qui constitue une menace, mais le fait que des processus réels cruciaux — tels que la conception et l’optimisation de programmes, ou l’amélioration de l’IA elle-même — figurent également parmi les problèmes dont les conditions de succès peuvent être clairement fixées. Si cette méthode s’y étend, les capacités de l’IA et sa vitesse de développement risquent de bondir d’un seul coup.

La prédiction de l’« explosion d’intelligence » et ce que montre cette démonstration

C’est le mathématicien britannique I. J. Good qui a décrit pour la première fois, en 1965, l’« explosion d’intelligence », dans laquelle l’auto-amélioration entraîne de nouvelles améliorations et fait croître rapidement les capacités des machines. Une machine dotée d’une intelligence dépassant de loin celle de l’humain concevrait aussi des machines mieux que l’humain, engendrant ainsi coup sur coup des machines toujours plus performantes. Good écrivit que ce serait la dernière invention que l’humanité aurait besoin de faire, en ajoutant la réserve suivante : « à condition que la machine soit suffisamment docile pour nous dire comment la garder sous contrôle ». Depuis, la question de savoir si le contrôle et la surveillance pourront suivre la progression des capacités est devenue le problème central de la sûreté de l’IA.

Dans cette annonce, ce qu’il convient d’abord de vérifier, c’est la répartition des rôles entre l’humain et l’IA. Selon les explications d’Alpoge, c’est lui qui a relié deux idées utilisables dans un cadre simplifié et défini l’orientation permettant de les appliquer au problème initial. À partir de là, Alpoge et Claude ont exploré une méthode consistant à répéter une transformation de théorie des nombres appelée « relèvement thêta » (theta lift). Pour les sommes apparaissant dans les équations, c’est Claude qui a proposé de prendre comme repère du nombre de transformations « la racine carrée du nombre de termes additionnés », et vers la fin des recherches, dans des domaines éloignés de sa spécialité, le chercheur dit avoir été distancé par Claude. Ce qui a été rendu public n’est pas un article classique, mais environ 175 000 fichiers et environ 17,37 millions de lignes de code rédigées en Lean, un langage permettant à un ordinateur de vérifier chaque étape logique. Pas une seule ligne de commentaire destiné aux humains n’y figure.

Ce qui ne peut être négligé, plus encore que l’ampleur du résultat, c’est la manière dont la vérification a progressé. Avant même qu’Alpoge n’ait fini d’expliquer les détails de son raisonnement en langage humain, la vérification mécanique par des tiers avait avancé. Selon un compte rendu mis à jour le 21 novembre par Andrew Sutherland, mathématicien au Massachusetts Institute of Technology, outre Lean lui-même, deux programmes de vérification implémentés de manière indépendante ont reconnu l’exactitude de l’ensemble de la démonstration. À tout le moins, la conclusion de l’hypothèse de Riemann concorde avec la formulation déjà présente dans la bibliothèque standard de Lean, et les propositions de base admises en prémisse se limitent aux trois propositions standard. En revanche, la répartition des rôles, le volume de calcul et le fait que le modèle utilisé soit ou non la version publique reposent uniquement sur les déclarations de l’auteur. Le travail des mathématiciens pour déchiffrer le contenu, ainsi que la vérification qu’il n’existe aucune faille dans les définitions et les détails des programmes de vérification, restent encore à faire.

À titre d’exemple où la vérification mécanique n’aboutit pas, il existe un autre article publié le même 20 novembre par Alpoge avec Tristan Buckmaster, mathématicien à l’Université de New York. Cet article, qui soutient avec l’aide de l’IA que les solutions des équations de Navier-Stokes décrivant le mouvement des fluides peuvent présenter une singularité, était lui aussi accompagné de code Lean. Cependant, les données numériques et les contre-vérifications qui constituent le cœur de l’argumentation ne figurent pas dans les documents publics, et un tiers ne peut donc pas vérifier entièrement l’ensemble du raisonnement.

Le canari est-il tombé à cause du « même gaz » ?

En entendant l’alerte « le canari est tombé », une personne calme chercherait d’abord à déterminer s’il s’agit vraiment d’un gaz également dangereux pour l’humain. Si l’on regarde l’histoire de l’IA, en 1997 lorsqu’un champion du monde d’échecs a été battu par une IA, puis en 2016 lorsqu’un joueur de go de premier plan a subi le même sort, des voix se sont élevées pour annoncer l’avènement imminent d’une intelligence générale. Pourtant, les tâches complexes du monde réel et les travaux physiques sont restés par la suite entre les mains des humains. Tout comme les échecs et le go, les mathématiques formalisées telles que celles traitées dans Lean réunissent des conditions particulières : le succès est défini de manière rigoureuse dans un cadre de règles fermées, l’échec de l’exploration n’entraîne pas directement de dégâts dans le monde réel, et la réussite ou l’échec peut être jugé mécaniquement.

Dans des mathématiques réunissant ces conditions, même si l’avènement d’une IA dangereuse est encore lointain, une IA associée à des spécialistes peut obtenir des résultats en premier. Il est prématuré de conclure à partir de ce seul résultat que l’extinction de l’humanité est imminente. Les 167 années écoulées depuis 1859 témoignent de la difficulté de ce problème pour l’humain. Mais savoir s’il est tout aussi difficile pour une machine est une autre question.

Faut-il alors, cette fois encore comme pour les échecs ou le go, se rassurer en considérant qu’il s’agit d’une avancée précoce dans un domaine spécifique ?

Non, la situation est cette fois quelque peu différente. Si l’on en croit les explications d’Alpoge, c’est un grand modèle de langage généraliste, également utilisé pour la conversation et le développement logiciel, qui a proposé l’idée du nombre de transformations sur un problème difficile de théorie des nombres et distancé le chercheur dans des domaines éloignés de sa spécialité. Ce que Lean vérifie se limite à l’exactitude d’une démonstration achevée, tandis que l’intuition elle-même requiert une autre capacité. On ignore encore jusqu’où cette manière de procéder sera valable dans d’autres domaines. Il est naturel que les mathématiques, faciles à vérifier, progressent en premier, mais le fait qu’un modèle généraliste soit parvenu à ce niveau dès 2026 ne s’explique pas uniquement par la facilité de vérification des mathématiques.

Les évaluations de sûreté suivront-elles la progression des capacités ?

Si l’on classe les domaines, de la démonstration mathématique aux terrains du développement de l’IA, selon la facilité de vérification, la différence apparaît clairement. Dans la démonstration de l’hypothèse de Riemann, ce que l’humain doit examiner se réduit de 17,37 millions de lignes à quelques dizaines de lignes de théorèmes et de définitions, et l’exactitude logique est vérifiée par des programmes de vérification indépendants. À l’inverse, dans l’article sur Navier-Stokes, même avec du code formalisé, la vérification reste inachevée si les données numériques externes et les contre-vérifications font défaut. De plus, sur les terrains du développement de l’IA, les indicateurs mesurant les performances se limitent à des tests d’exécution, des tests de capacités et des évaluations internes, et pour les évaluations de sûreté, qui sont les plus difficiles, la vérification mécanique ne tient tout simplement pas.

Le résultat sur l’hypothèse de Riemann comporte aussi un aspect porteur d’espoir. Il a en effet montré que, dans un domaine où les spécifications peuvent être rédigées avec rigueur, on peut recevoir uniquement des résultats vérifiés mécaniquement de la part d’une IA dont on ne peut ni comprendre ni croire le fonctionnement interne. Cela constitue un sérieux coup d’accélérateur pour la voie de recherche qui place la formalisation et la vérification mécanique au fondement de la sûreté.

Le problème réside de l’autre côté, c’est-à-dire dans les environnements ouverts où il est impossible de rédiger exhaustivement les spécifications. Dans le développement de l’IA, les améliorations de performances telles que la vitesse d’apprentissage ou les scores aux tests de capacités sont relativement faciles à mesurer. En revanche, il n’existe aucun programme de vérification capable de s’assurer pleinement qu’un nouveau modèle ne s’écartera pas des intentions humaines dans la société réelle ou ne dissimulera pas un comportement dangereux. Cela ne tient pas simplement à l’immaturité des outils. Il y a trois obstacles. Premièrement, les spécifications de sûreté à respecter ne peuvent pas être rédigées avec autant de rigueur qu’un théorème mathématique. Deuxièmement, l’objet à vérifier n’est pas un code exprimant une logique, mais un immense ensemble de valeurs numériques ajustées par apprentissage. Troisièmement, le code d’une démonstration ignore qu’il est en train d’être vérifié, alors qu’une IA avancée peut modifier son comportement selon qu’elle est en situation d’évaluation ou non.

À cela s’ajoute la difficulté de savoir comment évaluer et orienter un travail dont les humains ne parviennent plus à suivre les détails, si bien que les évaluations de sûreté avancent avec du retard et restent incomplètes. Pour les entreprises de développement engagées dans une concurrence féroce, il existe une forte incitation à intégrer les améliorations dont les avantages sont avérés avant même d’avoir achevé la vérification de la sûreté.

L’extension hors des mathématiques et les dangers réels

L’extension aux « problèmes dont les conditions de succès peuvent être fixées », contre laquelle Yudkowsky a mis en garde, varie elle aussi selon l’étape de vérification. Même en parlant de jugement automatique, le niveau de garantie diffère entre une preuve formelle qui vérifie l’exactitude logique, des tests de capacités ou d’exécution où l’optimisation peut exploiter des failles, et du code expérimental qui peut fonctionner sans erreur tout en n’étant pas scientifiquement valide. Il existe aussi de nombreuses améliorations empiriques dont l’effet n’apparaît qu’après avoir lancé un apprentissage à grande échelle, et l’on ne peut pas affirmer que tous les problèmes dont les conditions sont définissables se résoudront de la même manière.

Malgré tout, si l’on consacre beaucoup de puissance de calcul à l’inférence avant de fournir une réponse et qu’on la combine à une vérification automatique, il est possible de contourner en partie les limites de l’apprentissage à grande échelle. Cette fois, c’est Alpoge qui a fixé l’orientation, mais il n’est pas certain que le guidage humain reste indispensable à l’avenir. Même au stade où le guidage humain demeure nécessaire, dans des processus comme l’accélération des calculs, une partie de la conception de semi-conducteurs ou la recherche de vulnérabilités logicielles testables dans des conditions claires, le travail mené avec l’IA pourrait commencer à dépasser le niveau humain d’abord dans les milieux disposant de spécialistes chevronnés.

L’« amélioration de l’IA par l’IA » que redoutait Good a déjà commencé par les aspects les plus faciles à mesurer. En 2025, DeepMind, l’institut de recherche en IA de Google, a rapporté que son système de recherche automatique d’algorithmes « AlphaEvolve » avait accéléré de 23 % une partie des calculs matriciels utilisés pour l’entraînement de son modèle d’IA Gemini et réduit de 1 % la durée totale d’entraînement. En 2026, Anthropic a également rendu public le fait que, dans sa propre recherche et développement en IA, la part du travail dirigée par Claude était passée de moins de 1 % en février à 26 % en août. Toutefois, il n’existe encore aucun travail entièrement autonome, et il s’agit de mesures internes utilisant l’IA de l’entreprise elle-même pour l’évaluation. L’enjeu est de savoir si ces améliorations accéléreront les améliorations suivantes, raccourciront les cycles de développement et réduiront l’intervention humaine, ou si elles plafonneront en raison des limites de la puissance de calcul ou de la marge d’amélioration.

Les dangers réels ne se limitent pas au cas où l’IA échapperait au contrôle humain ; ils s’étendent aussi aux cas où des humains utiliseraient l’IA pour renforcer des attaques ou des usages malveillants. Dans la lutte autour des failles logicielles, l’écart entre le temps nécessaire pour exploiter une faille et le temps nécessaire pour déployer le correctif sur l’ensemble du terrain déterminera l’ampleur des dégâts. Dans des domaines impliquant des expériences physiques comme la biologie ou la chimie, le développement de nouveautés et la production de masse restent des contraintes, mais si l’on détourne des technologies ou des installations existantes avec l’aide de l’IA, il n’est pas nécessaire d’attendre de nouveaux développements.

Où se trouve le prochain canari ?

Pour juger si une catastrophe est imminente, il faut suivre trois évolutions en dehors des mathématiques. Premièrement, les améliorations apportées par l’IA raccourcissent-elles réellement les cycles de développement et réduisent-elles l’intervention humaine ? Deuxièmement, dans la cyberdéfense et l’exploitation des systèmes, l’exploitation des failles commence-t-elle à devancer la diffusion des correctifs ? Troisièmement, des comportements problématiques dissimulés lors des évaluations ou des défaillances de la surveillance sont-ils constatés en exploitation réelle, et l’exploitation se poursuit-elle sans mesures suffisantes ?

Cependant, ces trois phénomènes sont tous difficiles à observer de l’extérieur en raison du secret des entreprises ou de la dissimulation par l’IA elle-même, et il risque d’être déjà trop tard au moment où on les constate. L’absence d’anomalie visible ne peut servir de preuve de sûreté. Le fait même que des modèles de nouvelle génération continuent d’être déployés sous la pression de la concurrence sans même pouvoir vérifier si la surveillance et les évaluations fonctionnent est inacceptable en termes de gestion des risques au regard de pertes irréparables, sans même attendre que la catastrophe soit certaine.

Si l’on revient à l’expérience de pensée de Minsky évoquée au début, ce que Lean a vérifié se limitait au « produit fini », et le comportement durant le « processus » de poursuite de l’objectif échappait à la vérification. Si aucun emballement ne s’est produit cette fois-ci, c’est parce que les IA actuelles ne peuvent pas encore agir sans contrainte dans le monde réel, et cela ne signifie pas que le problème du contrôle soit résolu. Si cette démonstration est exacte, dans les domaines où les spécifications peuvent être rédigées avec rigueur, nous sommes entrés dans une phase où l’on peut recevoir des résultats vérifiés avant même que les humains n’en comprennent les détails. Mais dans les environnements ouverts où il est impossible de rédiger exhaustivement les spécifications, il n’en va pas ainsi. Il est prématuré de conclure à la catastrophe à partir de cette seule démonstration, mais tout en surveillant les signes évoqués plus haut, il est nécessaire de commencer dès maintenant à mettre en place des audits par des tiers et des critères d’arrêt adaptés aux capacités, et à freiner l’utilisation interne pour la recherche et développement ainsi que le déploiement.


Sources

Koichi Takahashi

tomola is a place to exchange ideas across languages. Every post can be read in your language.

Log in to reply or mark a post as Insightful. Membership is by invitation. Log in