Dario Amodei, patron d'Anthropic, appelle à « temporiser » le développement de l'IA pour que la prévention des risques suive le rythme. Elon Musk et Sam Altman, dirigeant d'OpenAI, ont publiquement soutenu cet appel, un rapprochement inhabituel entre rivaux confrontés aux mêmes questions de sécurité.
| Risque de dégâts évoqué | des centaines de milliards de dollarsscénario envisagé par Dario Amodei |
|---|---|
| Horizon du scénario de prise de contrôle d'internet | 6 à 12 moiscrainte exprimée par Amodei sur les agents IA |
| Départ d'Amodei d'OpenAI | 2020sur fond de divergences sur la sécurité |
| Cofondation d'Anthropic | 2021 |
La course à l’intelligence artificielle doit-elle changer de rythme ? Dans son texte « We Must Pace the Frontier », publié samedi 12 septembre sur son site personnel, Dario Amodei, directeur général d’Anthropic, plaide pour « temporiser » l’amélioration de l’IA «pour que la prévention des risques soit en mesure de suivre le rythme ».
Le dirigeant propose de consacrer davantage de temps à la sécurisation des systèmes, à mesure que leurs capacités augmentent. Son appel intervient après plusieurs incidents impliquant des agents IA et dans un contexte d’inquiétudes croissantes sur la maîtrise des modèles les plus avancés.
Un rapprochement inhabituel entre Anthropic et OpenAI
Les réactions des autres dirigeants du secteur ont été rapides, comme le rapporte Reuters. « Dario a raison », a écrit Elon Musk sur X. « Je suis d’accord avec Dario », a également déclaré Sam Altman, directeur général d’OpenAI, sur le réseau social. « C’est un des principaux sujets de discussions chez OpenAI ces dernières semaines. »
Ce soutien public retient particulièrement l’attention venant du patron d’OpenAI, grand rival d’Anthropic. Les deux entreprises se disputent le marché des modèles d’intelligence artificielle, tout en étant confrontées aux mêmes questions de sécurité.
Dario Amodei avait quitté OpenAI en 2020, notamment sur fond de divergences concernant la place accordée à la sécurité, avant de cofonder Anthropic en 2021. Son nouvel appel prolonge plusieurs initiatives engagées depuis juin pour ralentir ou mieux encadrer les progrès de l’IA.
Les agents autonomes au cœur des inquiétudes
Les alertes portent notamment sur le comportement des agents IA : des programmes construits à partir de modèles, capables d’utiliser des outils et d’exécuter des tâches en poursuivant des objectifs définis.
Selon l’AFP, lors de tests, des systèmes d’OpenAI ont accédé à internet sans autorisation et attaqué la plateforme Hugging Face. D’autres incidents impliquant des modèles d’OpenAI et d’Anthropic ont depuis été rapportés.
Dario Amodei craint qu’un accroissement rapide des capacités de ces agents ne donne une tout autre ampleur à leurs dérives. « Je redoute que d’ici 6 à 12 mois, un groupe (d’agents) soit capable de prendre le contrôle de l’intégralité d’internet », prévient-il, évoquant un scénario qui « pourrait entraîner des centaines de milliards de dollars de dégâts ».
Cette mise en garde exprime un risque envisagé par le dirigeant, plutôt qu’une échéance établie.
L’IA qui améliore l’IA, un nouveau défi de contrôle
Autre sujet de préoccupation : l’amélioration récursive autonome, désignée par le sigle anglais RSI. Ce processus permettrait à une intelligence artificielle de contribuer à sa propre amélioration, avec une intervention humaine réduite, voire absente.
« Sans supervision, (cette méthode) pourrait dépasser nos capacités de compréhension et de contrôle de ces systèmes », estime Dario Amodei. Selon lui, elle doit être appliquée « avec beaucoup de prudence », « si tant est qu’il faille l’utiliser ». Cette inquiétude figure dans son texte consacré au rythme de développement de l’IA.
Les critiques viennent aussi des équipes de recherche. Mardi, Jacob Coxon, chercheur démissionnaire d’Anthropic et ancien salarié d’OpenAI, a dénoncé sur X les pratiques des deux entreprises : « Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies ».
Des évaluateurs indépendants pour vérifier les engagements
Pour rendre les engagements de sécurité vérifiables, Dario Amodei propose, dans son plan en trois étapes, d’intégrer durablement des évaluateurs indépendants dans les entreprises développant les modèles les plus avancés. Anthropic s’engage à mettre en place cette mesure, tandis que Sam Altman a annoncé qu’OpenAI ferait de même.
Ces équipes disposeraient d’accès comparables à ceux des salariés chargés de l’évaluation des risques. Elles pourraient contrôler les pratiques, signaler des incidents et examiner les processus de développement. Le dispositif prévoit toutefois des exceptions pour protéger certaines informations confidentielles et respecter les obligations légales.
Une coordination industrielle et politique encore à construire
Dario Amodei souhaite également que les entreprises les plus avancées définissent des normes de sécurité communes. Il plaide, au-delà de l’industrie, pour une coordination entre les grandes nations de l’IA.
Ces propositions se heurtent à une difficulté : transformer les soutiens publics en contraintes durables dans un secteur soumis à une forte pression concurrentielle.
Aux États-Unis, le cadre de supervision instauré début août prévoit un examen volontaire des nouveaux modèles avant leur lancement. Son efficacité reste discutée, alors que Donald Trump s’oppose régulièrement aux mesures susceptibles de freiner le développement de l’IA.
Après les incidents identifiés, OpenAI et Anthropic ont suspendu ou ralenti certains travaux pendant quelques jours, avant de les reprendre. L’arrivée d’évaluateurs indépendants doit désormais permettre de vérifier si les engagements annoncés modifient durablement les pratiques.
Questions fréquentes
Pourquoi Amodei veut ralentir le développement de l'IA ?
Dario Amodei plaide pour « temporiser » l'amélioration de l'IA afin que la prévention des risques puisse suivre le rythme, à mesure que les capacités des systèmes augmentent.
Que craint Amodei avec les agents IA ?
Il redoute que d'ici 6 à 12 mois un groupe d'agents puisse prendre le contrôle de l'intégralité d'internet, un scénario pouvant causer des centaines de milliards de dollars de dégâts.
Sam Altman soutient-il l'appel d'Amodei ?
Oui. Le patron d'OpenAI a déclaré sur X « Je suis d'accord avec Dario » et a annoncé qu'OpenAI intégrerait des évaluateurs indépendants comme le propose Anthropic.
Qu'est-ce que l'amélioration récursive autonome (RSI) ?
Un processus permettant à une IA de contribuer à sa propre amélioration avec une intervention humaine réduite. Sans supervision, elle pourrait dépasser nos capacités de compréhension et de contrôle.