Des employés actuels et anciens de laboratoires américains d’IA (intelligence artificielle), ainsi que leurs dirigeants, ont lancé des avertissements alarmants concernant une apocalypse imminente provoquée par l’IA. Un développement incontrôlé de l’IA pourrait signifier que « nous pourrions tous mourir dans un avenir immédiat », a déclaré un ancien employé de laboratoire.

Cette prise de position a été suivie d’une proposition de Dario Amodei, PDG de la société d’IA Anthropic, visant à ralentir le développement de l’IA afin de garantir la sécurité de cette technologie. Cette proposition a reçu l’approbation de dirigeants d’autres laboratoires, notamment Sam Altman et Elon Musk.

L’avertissement d’Anthropic doit être pris au sérieux, mais ne doit pas servir de prétexte pour consolider la position des laboratoires américains ou exacerber la rivalité avec Pékin.

Aucun observateur du secteur de l’IA ne contesterait la nécessité d’accorder une plus grande importance à la sécurité lors du développement et du déploiement de l’IA. Toutefois, l’attention renouvelée portée aux risques à long terme de l’IA ne doit pas se focaliser outre mesure sur l’avenir lointain, au point de négliger les impacts actuels de cette technologie. Elle ne doit pas non plus servir d’instrument brutal pour étouffer la concurrence face aux leaders américains actuels du secteur. Enfin, il sera impossible de traiter cette question sans une forme d’accord entre les États-Unis et la Chine.

Le scénario catastrophe décrit par Amodei et d’autres repose sur une technique appelée « auto-amélioration récursive » (RSI) — une approche de l’entraînement des modèles d’IA qui commence à être mise en œuvre, bien qu’elle n’en soit qu’à ses balbutiements.

Le risque est que la RSI — qui implique qu’une IA entraîne une autre IA — n’entraîne une accélération telle du développement de l’IA qu’un point de bascule finira par être atteint : les IA deviendraient alors suffisamment performantes pour s’améliorer elles-mêmes, sans supervision humaine ni possibilité pour l’homme de garder la main.

« Nous traversons une période critique concernant l’IA… Plus vite elle sera réglementée, mieux ce sera. »

Il est moins certain que ce seul facteur suffise à créer des modèles d’IA menaçant le contrôle humain. Toutefois, les capacités de cette technologie ont évolué si rapidement ces dernières années qu’il serait imprudent d’écarter d’emblée cette éventualité.

Des experts se sont empressés de souligner que certaines des affirmations récentes ne résistent pas entièrement à l’examen. En matière de cybersécurité, notamment, le risque qu’un modèle d’IA provoque l’arrêt complet d’Internet d’ici un an a été écarté par le fondateur du Centre national de cybersécurité du Royaume-Uni, qui l’a qualifié d’« expérience de pensée se faisant passer pour un avertissement fondé sur des preuves ». Toutefois, dans l’ensemble, l’idée selon laquelle l’IA ferait peser un risque existentiel à court terme sur l’humanité a dominé l’actualité sans être véritablement contestée.

Certains risques liés à l’IA sont immédiats et avérés. Au cours des prochaines années, des technologies d’apprentissage automatique de plus en plus performantes seront développées et déployées, remodelant radicalement les économies, les sociétés, les gouvernements, les champs de bataille, les salles de classe, et bien plus encore.

Tout récemment, les mathématiciens ont vécu leur « moment Lee Sedol » : ce sentiment de malaise ressenti lorsque les machines commencent à les surpasser dans des tâches qui relevaient jusqu’alors de l’ingéniosité humaine. Presque tout le monde connaîtra bientôt une expérience similaire.

Certains comprennent mieux les impacts immédiats que les entreprises d’IA elles-mêmes : un excellent rapport récent d’Anthropic expose les risques de détournement de ses produits à des fins d’espionnage, de cyberattaques, d’opérations d’influence et de développement d’armes. La plupart des grands laboratoires maintiennent d’importantes capacités de recherche sur l’impact probable de l’IA sur l’économie mondiale. Cette révolution technologique, qui transforme le visage de la société mondiale et engendre des conséquences dès aujourd’hui, ne peut être laissée sans encadrement.

Les impacts actuels sont bien réels. Les risques à court terme sont considérables.

Les risques à plus long terme — qu’il s’agisse d’une perte progressive d’autonomie humaine à mesure que les machines assument davantage de responsabilités, ou d’un événement plus soudain — sont à la fois plausibles et suffisamment menaçants pour exiger toute notre attention.

Les initiatives menées par des experts tels que Stuart Russell, visant à établir un accord international sur des lignes rouges claires et vérifiables pour prévenir des conséquences catastrophiques, gagnent du terrain. Sans elles, nous risquons de manquer la première occasion de mettre en place une gouvernance mondiale contraignante pour cette technologie.

La transparence de la part des laboratoires d’IA sera également cruciale. Le modèle décrit dans la proposition d’Amodei — l’intégration au sein des laboratoires d’un tiers disposant de privilèges comparables à ceux des employés et chargé d’évaluer les mesures de sécurité des entreprises — est une revendication portée depuis des années par les défenseurs d’une gouvernance de l’IA. Le fait qu’Anthropic ait proposé cette mesure unilatéralement, et que d’autres laboratoires envisagent de lui emboîter le pas, constitue indubitablement une avancée.

Si une telle tierce partie devait être créée, il est absolument essentiel qu’elle soit issue d’un milieu extérieur à la bulle de la Silicon Valley. L’Institut britannique pour la sécurité de l’IA (UK AI Safety Institute) apparaît comme l’une des institutions candidates les plus crédibles au monde. Des modèles nationaux de supervision de l’IA s’inspirant de la Food and Drug Administration (FDA), ou des modèles internationaux calqués sur l’Agence internationale de l’énergie, constituent également des options crédibles.

Toute proposition politique susceptible d’entraver la concurrence — comme l’interdiction des modèles d’IA open source ou celle de l’utilisation de modèles actuels dont la sécurité a déjà été démontrée — devrait tirer la sonnette d’alarme.

La suggestion de M. Amodei, selon laquelle les laboratoires américains d’IA devraient « collaborer pour établir des normes » et coordonner un ralentissement, a suscité une vive réplique de David Sacks, ancien responsable de l’IA à la Maison Blanche : « Cessez de prétendre que les lois antitrust doivent être suspendues pour vous permettre de former un cartel », a-t-il écrit sur X. « Cessez de prétendre que vous avez besoin d’un processus d’approbation réglementaire qui se substitue à la responsabilité du fait des produits. »

« Exiger le cadre réglementaire de votre choix comme condition préalable… s’apparentera à du chantage envers le public et le système politique », a-t-il ajouté.

Cela fait écho aux craintes selon lesquelles l’énorme pression exercée sur ces entreprises pour qu’elles répondent aux attentes en matière de revenus pourrait les inciter à tenter d’élargir leur « fossé concurrentiel » (ou *moat*) — c’est-à-dire à consolider leur avantage concurrentiel au détriment des autres.

Une telle démarche doit être rejetée : la concurrence en matière de performance et de fiabilité sera essentielle pour faire progresser la sécurité de l’IA à court terme. Elle pourrait également, de manière plausible, ralentir le développement en réduisant l’incitation commerciale à investir des capitaux massifs dans l’entraînement de modèles de pointe toujours plus coûteux.

Toute proposition politique susceptible d’entraver la concurrence — comme l’interdiction des modèles d’IA open source, l’assouplissement des lois sur la responsabilité du fait des produits ou l’interdiction de l’utilisation de modèles actuels dont la sécurité a déjà été démontrée — devrait tirer la sonnette d’alarme. Le Royaume-Uni ne doit en aucun cas interdire les modèles d’IA open source ou à poids ouverts (*open-weight*).

Enfin, aucun effort visant à maintenir le contrôle humain sur le développement de l’IA ne sera complet sans une forme d’entente entre les superpuissances de l’IA, les États-Unis et la Chine — peut-être en s’appuyant sur les « lignes rouges » proposées par le professeur Russell.

Toutefois, le discours actuel, largement fondé sur la nécessité pour les États-Unis de conserver une avance sur la Chine, complique la situation. M. Amodei affirme que les démocraties doivent maintenir leur avance sur la Chine et accuse Pékin d’adopter une approche moins rigoureuse en matière de sécurité de l’IA. De son côté, le président américain Donald Trump présente l’IA comme un jeu à somme nulle, préférant se concentrer sur la victoire dans la course à l’IA : « celui qui gagne la course à l’IA, gagne tout ».

À titre de comparaison, le président Xi Jinping a au moins évoqué publiquement la nécessité d’un contrôle humain sur l’IA. Par ailleurs, les services de renseignement chinois ont émis une première mise en garde concernant les risques que l’IA fait peser sur la sécurité nationale. Toutefois, la volonté de Xi de promouvoir la vision chinoise de la gouvernance de l’IA — largement en concurrence avec celle de Washington — ne fera qu’accentuer l’impression d’une course aux armements dans ce domaine, ce qui ne freinera guère le rythme du développement technologique.

La question de l’IA sera à l’ordre du jour lors de la rencontre entre Trump et Xi à Washington, prévue plus tard ce mois-ci. Des avancées ne sont pas impossibles. Cependant, alors que des voix influentes dans les deux pays insistent sur la nécessité de surpasser l’autre, parvenir à un accord exigera des efforts considérables.

Alex Krasodomski est le directeur du programme « Société numérique » (Digital Society Programme) au sein de Chatham House, l’organisme qui a publié cet article en premier.