Intelligence Artificielle

Dans la fabrique d’Anthropic : pouvoir, sécurité et valeurs derrière Claude

Anthropic, créée par d'anciens d'OpenAI, a construit sa stratégie autour de la sécurité de l'IA, un positionnement qui a façonné ses recrutements, sa gouvernance et son produit Claude. Ce dossier analyse la tension entre cette mission de prudence et les exigences de croissance auxquelles l'entreprise est confrontée.

Dans la fabrique d’Anthropic : pouvoir, sécurité et valeurs derrière Claude
Partager : ·
Un de ses premiers investisseurs voulait orienter l’IA vers davantage de prudence. Deux ans après la création d’Anthropic, il estimait sa stratégie d’investisseur en échec. Derrière Claude, les convictions des fondateurs ont pourtant façonné les recrutements, la gouvernance et le produit. Mais qui peut imposer un choix lorsque la mission rencontre les exigences de la croissance ?

En avril 2023, Jaan Tallinn a une raison très précise d’être déçu. Le cofondateur de Skype a financé des laboratoires d’intelligence artificielle, dont Anthropic, avec l’espoir de peser sur leur prudence. Or l’entreprise n’a pas signé l’appel à suspendre pendant six mois l’entraînement des systèmes les plus puissants. L’initiative émane notamment du Future of Life Institute, qu’il a lui-même cofondé.

« Plan A failed », confie-t-il à Semafor. Le plan A a échoué. Anthropic répond qu’elle ne signe pas de pétitions par principe. Tallinn continue pourtant de la juger plus attentive à la sécurité que les autres laboratoires qu’il connaît. Ce désaccord, rapporté le 28 avril 2023, tient en quelques lignes : partager une inquiétude, financer ceux qui la prennent au sérieux et obtenir une décision sont trois choses différentes.

Cette difficulté traverse l’histoire d’Anthropic. L’entreprise a donné aux préoccupations de sécurité une place dans sa recherche, puis dans ses règles de gouvernance. Elle a aussi recruté, levé des capitaux et pris des engagements industriels qui l’inscrivent dans la compétition qu’elle voulait rendre moins dangereuse. Pour comprendre ses choix, il faut suivre les personnes au moment où leurs convictions deviennent des responsabilités.

Après OpenAI, construire une organisation autour d’un pari
L’histoire commence dans une autre organisation. En décembre 2015, Sam Altman et Elon Musk présentent OpenAI comme un organisme de recherche à but non lucratif. Le bénéfice collectif de l’IA figure déjà au cœur de l’annonce fondatrice, conservée par Internet Archive. Cette ambition précède donc Anthropic et la concurrence entre les deux entreprises. Les Amodei travailleront chez OpenAI avant de partir créer leur propre laboratoire, au début de 2021.

La prudence d’Amodei s’était déjà traduite par une restriction concrète. Le 14 février 2019, chez OpenAI, il cosigne l’annonce qui justifie de ne pas publier immédiatement la version la plus puissante de GPT-2, au nom des risques d’usage malveillant. Une version réduite est diffusée ; le modèle complet devient accessible le 5 novembre suivant, après une publication par étapes. Amodei soutient donc publiquement une décision collective de diffusion restreinte, près de deux ans avant de cofonder Anthropic. Développer un modèle, évaluer ses dangers et décider de qui peut y accéder font déjà partie du même arbitrage.

Pour se réunir, les sept fondateurs d’Anthropic doivent alors composer avec la pandémie. Ils se retrouvent dehors, parfois dans un jardin, masqués et à distance. Daniela Amodei racontera ces débuts dans un entretien au Future of Life Institute, publié en mars 2022. Le groupe se connaît déjà et veut réunir recherche sur les capacités des modèles et recherche sur leur sécurité dans une même organisation.
V

VDN REDACTEUR

Commentaires (0)

Soyez le premier à commenter cet article.

Laisser un commentaire