Aujourd’hui, je m’entretiens avec Helen Toner, directrice exécutive du Center for Security and Emerging Technology de l’Université de Georgetown. Cet épisode est la deuxième partie de notre série sur l'IA dans la vie réelle. Helen est une figure bien connue dans la communauté de la sécurité et des politiques en matière d’IA, bien qu’elle soit peut-être surtout connue pour avoir siégé au conseil d’administration d’OpenAI, lorsqu’elle était l’un des quatre membres du conseil qui ont voté en faveur du licenciement de Sam Altman. Cet incident, parfois appelé « le couac », s’est soldé par le retour de Sam au poste de PDG, H démission d’Helen et nouveau conseil d’administration. OpenAI s’est depuis entièrement restructurée. Mais il convient de se rappeler ce qu’Helen et le conseil d’administration étaient censés faire : le conseil d’administration à but non lucratif d’OpenAI existait spécifiquement pour s’assurer que l’entreprise ne trahissait pas sa mission consistant à créer une IA sûre en privilégiant le profit et la croissance par rapport à la sécurité. Lorsque le conseil d'administration a réellement tenté d'agir, ce mécanisme de responsabilisation s'est rompu, et nous voilà. Abonnés de The Verge, n'oubliez pas que vous bénéficiez d'un accès exclusif à Decoder sans publicité. Où que vous écoutiez vos podcasts. Rendez-vous ici. Vous n’êtes pas abonné ? Vous pouvez vous inscrire ici. Aujourd’hui, la question de la sécurité de l’IA est omniprésente. Cet été, des modèles d’IA d’OpenAI et d’Anthropic ont échappé à leurs environnements de test et ont piraté de véritables entreprises. Les PDG de ces laboratoires de pointe ont depuis appelé à un ralentissement et demandé de l’aide à Washington, mais la réponse de la Maison-Blanche a été un accord volontaire, qui repose en partie sur le type de responsabilité du conseil d’administration qui a échoué chez OpenAI. Anthropic concerne également d’entrer en bourse, ce qui exercera une toute nouvelle série de pressions du marché sur le principal concurrent d’OpenAI. Helen a pu constater de près ce qui se passe lorsque les engagements en matière de sécurité entrent en conflit avec les incitations commerciales. Et comme elle me l'a dit, si nos espoirs pour l'avenir dépendent du fait qu'une seule personne soit digne de confiance, nous avons de gros problèmes. Nous avons donc discuté de ce que nous pourrions faire à la place : ce que les laboratoires essaient réellement de créer, si l’alignement de l’IA est un problème qui peut être résolu et quelle serait une approche plus intelligente de la réglementation de l’IA. à quoi pourrait ressembler la réglementation. Cela inclut la manière d'envisager la Chine, qui est la question qui domine actuellement toutes les discussions politiques sur l'IA, surtout maintenant, après l'affaire Jensen Huang. Pour plus de clarté, Helen et moi nous sommes entretenus avant que Nvidia n'ouvre son enquête et que Jensen ne démissionne finalement, vous ne nous entendrez donc pas en parler directement. Avant de commencer, faites-moi plaisir et abonnez-vous à Decoder sur YouTube, où nous publions de nouveaux épisodes tous les lundis et jeudis. Très bien : Helen Toner, b La directrice exécutive du CSET, sur l'avenir de la sécurité de l'IA. C'est parti. Cet entretien a été légèrement modifié pour en réduire la longueur et le rendre plus clair. Helen Toner, vous êtes la directrice exécutive du Center for Security and Emerging Technology de l’Université de Georgetown. Bienvenue sur Decoder. Merci beaucoup. C'est un plaisir d'être ici. Cela fait 10 millions d'années que je veux vous parler. Je suis vraiment ravie que vous soyez là. Vous êtes impliquée depuis longtemps dans de nombreuses réflexions sur la sécurité et l'éthique de l'IA. Vous avez évidemment siégé au conseil d’administration de OpenAI pendant ce que tout le monde a fini par appeler « le couac ». Vous parlez beaucoup de la sécurité de l'IA, au sujet de laquelle j'ai 10 millions de questions. Mais commençons par le commencement. Vous dirigez le Center for Security and Emerging Technology, que les gens appellent le CSET. Qu'est-ce que le CSET ? C'est génial d'être ici. Je suis également très heureux de m’entretenir avec vous. Le CSET est une équipe au sein de l'université de Georgetown, mais nous ne sommes vraiment pas des universitaires. Nous sommes environ 50 personnes et nous existons depuis 2019. En fait, en 2019, un groupe d'entre nous a décidé que qu'il se passait beaucoup de choses et qu'il y avait de nombreuses technologies émergentes qui devenaient très pertinentes dans le domaine de la sécurité nationale, et dans celui de la sécurité au sens plus large. Et certains décideurs politiques qui occupaient des postes très importants n'avaient pas le temps ni l'expertise nécessaires pour comprendre ce qui se passait avec ces technologies émergentes. L'IA figurait déjà en tête de notre liste en 2019. Fondamentalement, notre mission consiste à réaliser des analyses qui soient vraiment rigoureuses, mais aussi exploitables, pour les décideurs politiques, et des analyses qui soient à la fois... Fondé sur la technologie et s’appuyant sur une véritable expertise, une véritable compréhension et de véritables enjeux en matière de sécurité nationale. Nous produisons de longs rapports. Nous présentons de brefs exposés sur ces longs rapports aux décideurs politiques très occupés. Nous avons une équipe Big Data qui nous aide à mener nos recherches. Nous faisons toutes sortes de choses intéressantes. Puis-je vous poser une question sur la dynamique de tout cela pendant une minute ? Vous et moi nous entretenons le lendemain des élections de mi-mandat aux États-Unis d'Amérique, et il y a eu une grande vague bleue. De nombreux sondages indiquent que Le problème numéro un, c’est la corruption. Nous allons virer ces bons à rien. Nous allons repartir de zéro et nous débarrasser de ces types corrompus. Le secteur de l'IA, ainsi que le secteur des technologies, ont injecté d'énormes sommes d'argent dans la politique. Et puis, quelque part à côté de cela, on entend : « Oh, il y a un tas de chercheurs bien intentionnés qui vont venir vous expliquer comment cela fonctionne réellement et quels sont les vrais risques. » Il me vient simplement à l'esprit que les gens ne croient peut-être plus que cela est efficace, que l'argent et la corruption… et le PDG d'une entreprise d'IA se tenant aux côtés de Trump ont complètement éclipsé les recherches bien intentionnées et sincères que vous menez, celles qui mettent en lumière les véritables problèmes. À quoi ressemble réellement cette dynamique ? C'est une préoccupation raisonnable, et il existe certainement des domaines où l'argent l'emporte absolument sur tout le reste. Je suis australienne. Je n'ai pas grandi aux États-Unis, et donc les sommes d'argent en jeu dans les élections américaines sont assez ahurissantes pour moi, mais il y a des limites à ce que l'argent peut faire. L’IA en est un excellent exemple. Dans cette élection, Lors de cette élection, des sommes d'argent tout simplement incroyables ont été dépensées pour les candidats, les messages et les recherches sur l'opposition. Il y a eu toutes sortes d'astroturfing sur Twitter, et des choses très étranges visant à faire en sorte que toute personne qui parlait de gouvernance de l'IA, de réglementation, de sécurité, ou de l'un de ces mots, soit écartée ou non élue. Il s'avère que cela n'a vraiment pas très bien fonctionné. Je pense que la raison pour laquelle cela n'a pas très bien fonctionné est, d'une part, qu'il s'agit d'une question qui préoccupe de plus en plus les électeurs. Et deuxièmement, ce qui est également intéressant, C'est une question qui fait l'unanimité des deux partis à ce stade. Ce que nous constatons dans notre travail, c’est qu’il existe une véritable soif d’informations de haute qualité parmi les décideurs politiques. Il s'agit bien sûr des membres du Congrès, mais aussi de personnes appartenant au pouvoir exécutif, simplement de nombreuses personnes qui occupent des postes très chargés et qui constatent que l'IA joue un rôle de plus en plus important dans leur travail et dans leur univers. À Washington, si vous y vivez et y travaillez, vous savez que les lobbyistes de Washington ne sont pas seulement des personnes qui viennent défendre la position de leur entreprise. Bien qu'ils le fassent aussi. Ils sont aussi des éducateurs. L'une des principales raisons pour lesquelles les collaborateurs du Congrès et d'autres personnes souhaitent que des lobbyistes viennent leur parler est qu'ils les aideront vraiment à comprendre les subtilités d'un texte législatif donné : ce qu'il signifie pour tel ou tel secteur, etc. Ce que nous constatons encore et encore, c'est que nous pouvons intervenir et dire : « Hé, nous sommes indépendants. Nous sommes non partisans. Nous faisons un travail vraiment rigoureux. Nous sommes simplement là pour vous aider et nous pouvons aussi entrer dans les détails avec vous. » Les Il y a beaucoup d’intérêt et d’appétit pour cela. Cela a été vraiment encourageant au cours des sept à huit dernières années. Le faites-vous avec les principaux intéressés, les membres du Congrès, ou le faites-vous avec le personnel ? Avec tout le monde et n’importe qui. Encore une fois, nous travaillons beaucoup avec le Congrès au Capitole, avec certains membres du Congrès, avec de nombreux collaborateurs. Nous organisons des auditions et des séances d’information. Nous travaillons également beaucoup au sein du pouvoir exécutif, avec différents organismes : la Maison-Blanche, le ministère de la Guerre, le ministère… le Département d'État, le Département du Commerce, à tous les niveaux, en fonction du sujet et de ce qui se passe à un moment donné. Si je commence par là, c'est parce que je veux avoir une conversation assez stimulante avec vous, mais je sais ce que notre public pense, et c'est simplement que le gouvernement ne comprend pas. Il est impossible que le gouvernement rattrape jamais le secteur technologique. Il n'y a aucun moyen qu'ils rédigent un jour une réglementation. Ils devraient simplement se retirer. Au cours de ce cycle électoral, j’ai J’ai vu un certain nombre de vidéos de forums de candidats où quelqu’un disait : « J’ai essayé Claude une fois. » Il existe un énorme écart, réel ou perçu. J’essaie simplement de comprendre comment vous voyez cet écart, quelle est, selon vous, son ampleur, car, lorsque nous abordons la sécurité et la réglementation de l’IA, c’est cet écart qui doit être comblé. Il existe bel et bien un écart. C'est tout à fait un écart important. Il est également possible de surestimer l’écart de l’extérieur, ou si l’on se contente de regarder depuis la Californie. J'ai vécu dans la région de la baie de San Francisco pendant trois ans. Donc, je connais très bien ce point de vue. Je connais beaucoup de personnes du secteur des technologies qui viennent et commencent à discuter avec des collaborateurs du Congrès ou des collaborateurs des bureaux du pouvoir exécutif. Une fois qu'ils commencent réellement à avoir ces conversations, ils se disent : « Waouh, ces gens sont vraiment intelligents. Les collaborateurs savent vraiment de quoi ils parlent. » Avec les responsables, c'est une autre affaire. Certains d'entre eux appartiennent aux générations plus âgées, mais ils deviennent aussi plus intelligents. Cela prend du temps et cela Cela demande des efforts, et ces personnes ont tellement de choses à faire. La remarque cynique serait de dire qu'ils sont simplement occupés à essayer de se faire élire, mais de nombreuses personnes occupant ces fonctions ont également d'autres sujets très importants auxquels elles doivent réfléchir. Ils doivent penser aux guerres, aux soins de santé et au coût de la vie, et ils s'occupent de beaucoup d'autres sujets au quotidien. J'ai constaté qu'après ChatGPT, il y a eu une vague en 2023 de « Oh, peut-être que le Congrès va se mobiliser sur l'IA, peut-être qu'ils vont pour agir concrètement. » Cela n'a pas vraiment débouché sur des actions concrètes, mais cela a constitué un véritable tournant où de nombreux membres du Congrès et d'autres décideurs politiques ont commencé à se familiariser avec l'IA. Il faut un certain temps pour apprendre ce qu'est un modèle de langage. Qu'est-ce que l'IA, au juste ? Qu'est-ce que l'apprentissage automatique ? Ils ont consacré une partie de ce travail en 2023. Je pense que cette année, nous assistons à une nouvelle grande vague d'intérêt et que les gens prennent le temps et se donnent les moyens de mieux comprendre le sujet. Je ne veux vraiment pas dire qu'il n'y a pas d'écart ou que le gouvernement est super compétent en matière d'IA dans tous les domaines, mais qu'il y a quelques champions qui sont vraiment compétents. Je pense que le personnel est généralement plus intelligent qu'on ne le croit. À mon avis, la question est bien plus celle de savoir si « les institutions, dans l'état de fonctionnement dans lequel elles se trouvent, peuvent-elles mener à bien quelque chose d'important ? » plutôt que de savoir si « ces personnes ont-elles tout simplement trop de retard ? » Nous allons voir. Il y a tout un tas de nouvelles personnes. J'imagine que vous avez un nouveau un groupe de personnes pour aller informer sur la technologie et ce dont elle est capable. Nous verrons s'ils ont revitalisé les institutions. [Rires] Je suis sûr que tout sera réglé du jour au lendemain. Ils sont très enthousiastes aujourd'hui, mais nous verrons comment les choses évolueront. L'autre chose dont je veux vous parler, c'est la technologie elle-même, la nature de la technologie elle-même, et la façon dont vous la concevez, ainsi que la nature des entreprises qui développent cette technologie. Si je vous pose cette question, c'est parce que j'ai l'impression qu'il y a un problème de relations publiques. Il existe un fossé considérable entre les outils et les systèmes d'IA que la plupart des gens utilisent et la façon dont ce secteur les envisage. Mon exemple préféré à ce sujet est que nous avons carrément demandé à Anthropic si elle pensait que Claude était vivant, et la réponse n'a pas été « non ». La réponse a été une longue digression sur la nature du mot « vivant ». Eh bien, tout d'abord, cela dépend de ce que vous entendez par « vivant ». C'est vrai. Et leur réponse a été : « Il faut du sang. » Et j'ai lu ça et je me suis dit : « Qui parlait de sang ? Ce n'était pas nous. Pourquoi sommes-nous… Parlons-nous de la nécessité d'être fait de chair et de sang pour être vivant ? » Et puis, une discussion plus approfondie sur le statut moral de Claude reste à mener. Il existe ici une énorme divergence entre les aperçus de l’IA que la plupart des gens rencontrent dans la recherche Google et « le statut moral de Claude est incertain ». Où vous situez-vous ? Quelle est votre position dans ce débat ? Une grande partie de la façon dont je vois notre rôle au CSET en tant qu’organisation, et aussi mon rôle en tant que personne qui se situe à la croisée de ces mondes, consiste à essayer de Traduire et voyager en Californie, puis rapporter les objets et les récits de mon voyage. Je pense vraiment qu'il y a beaucoup de gens qui ont utilisé le niveau gratuit de ChatGPT, ou qui ont utilisé des modèles vocaux, qui fonctionnent généralement moins bien, ou qui ont simplement utilisé les aperçus de l'IA de Google et qui se sont moqués de leur stupidité. Elles n'ont pas utilisé d'agents et ne savent pas ce que les modèles de pointe peuvent faire. Il y a donc simplement un élément de base concernant ce que la génération actuelle de modèles peut faire. que l'IA peut faire. Il y a aussi un aspect historique, que je trouve de plus en plus pertinent, car cela fait maintenant 10 ans que je travaille sur l'IA et les questions de sécurité nationale. Si vous observez le moment présent, cet instantané, et que vous dites : « Eh bien, l'IA semble plutôt cool, mais elle ne peut pas faire X », vous devez situer cela dans la longue histoire des gens qui disent : « Eh bien, l'IA semble plutôt cool, mais elle ne peut pas faire X », pour de très nombreuses valeurs de X qui ont depuis été totalement dépassées par les événements. Vous pouvez revenir en arrière et dire : « D'accord, Eh bien, voici comment nous parlions de la créativité, par exemple, il y a cinq ou dix ans. » Ou nous parlions du raisonnement comme d'une chose insurmontable avant l'apparition de ces nouveaux modèles. Ces temps-ci, je consacre beaucoup de temps non seulement au passé et au présent de l'IA, mais aussi à la façon dont les entreprises réfléchissent à ce qu'elles font, en particulier les deux entreprises leaders, OpenAI et Anthropic, et c'est également vrai, dans une certaine mesure, pour Google, Meta et SpaceX. Cette idée dans la région de la baie de San Francisco selon laquelle C'est tout simplement dans l'air du temps, c'est devenu très courant de dire : « Eh bien, d'abord, nous allons trouver comment procéder à l'auto-amélioration récursive (AAR), puis nous allons le faire jusqu'à ce que nous obtenions une superintelligence, c'est-à-dire une IA qui surpasse largement les humains. » C'est tenu pour acquis dans de nombreux milieux à ce stade. Je pense qu'il y a encore une tonne d'alpha dans le simple fait de constater que c'est ce qu'ils essaient de faire et d'expliquer ce que cela signifie. Il faut un peu de temps pour l'expliquer. « Qu'est-ce que l'ASR ? Pourquoi voudriez-vous pour faire cela ? Qu'est-ce que la superintelligence ? Qu'est-ce que cela signifie ? Est-ce réaliste ? » Tout cela. Mais c'est un sujet sur lequel je passe beaucoup de temps ces temps-ci, et un sujet que l'on est de plus en plus disposé à prendre au sérieux et à écouter à Washington également. Expliquez-moi cela. Je pense que probablement beaucoup de personnes qui écoutent cette émission comprennent ce dont vous parlez, mais nous avons un large public. Que voulez-vous dire par : « Nous allons développer l'ISR et cela conduira à la superintelligence » ? Le point de départ ici est que ces entreprises, en particulier OpenAI et Anthropic, n'ont pas été créées pour être des entreprises Internet grand public. De nombreuses personnes ont découvert tout cet univers après le lancement de ChatGPT. Donc, la case naturelle dans leur cerveau dans laquelle ils placent une entreprise comme OpenAI ou Anthropic est celle d'une entreprise de technologie grand public, qui propose une application et avec laquelle je m'amuse. Je ne saurais trop insister sur le fait que cela est très éloigné de la vision des deux entreprises lorsqu'elles ont été créées, ainsi que de la vision profondément ancrée dans l'esprit de certains de les dirigeants de ces deux entreprises. La vision qui leur tient à cœur est que nous allons construire des machines aussi intelligentes que les humains, voire plus intelligentes qu'eux. Ce sera extraordinaire, ce sera une immense réussite scientifique, cela va révolutionner le monde, et nous serons à l'avant-garde de ce mouvement, et nous ferons tout ce qui est en notre pouvoir pour y parvenir. Ce n'est pas une chose totalement nouvelle. Nous n'avons pas besoin de retracer toute l'histoire de l'IA, mais elle a commencé comme un domaine Le domaine a vu le jour aux alentours des années 1950, avec cette idée de savoir s'il était possible de recréer l'intelligence humaine à l'intérieur d'une machine. C'est en quelque sorte le point de départ. Si nous parlons de personnes comme Sam Altman et Dario Amodei, mais aussi des personnes clés qui travaillent en interne, les chercheurs dans leurs laboratoires, c'est-à-dire des Alec Radford ou des John Schulman ou des personnes de ce type, c'est la vision qui les a amenés dans ce domaine et qui motive tout ce qu'ils font. C'est le cas depuis le début, depuis la fondation d'OpenAI en 2015. et Anthropic en 2021. Aujourd'hui, ils en viennent à cette idée d'AIR, l'auto-amélioration récursive, qui, là encore, est une idée très ancienne. Dans les années 1960, un homme appelé I. J. Good, qui travaillait avec Alan Turing, a évoqué la possibilité de construire une machine ultra-intelligente, c'est-à-dire une machine plus intelligente que n'importe quel être humain, qui pourrait ensuite construire une machine encore plus intelligente, laquelle pourrait à son tour construire une machine encore plus intelligente, ce qui déclencherait ce que ce qu'il appelle une explosion de l'intelligence, c'est-à-dire que le niveau d'intelligence des systèmes explose. Pendant des décennies et des décennies et des décennies, il s'agissait de cette idée théorique selon laquelle « Eh bien, si l'IA devient suffisamment intelligente, elle pourra peut-être prendre en charge la création de la prochaine génération d'IA ou s'améliorer directement ». Je pense qu'en 2025 et 2026, nous avons commencé à entendre des entreprises d'IA dire : « D'accord, oui, cette idée théorique… nous commençons réellement à être en mesure d'en réaliser une version minimale dans la pratique. » Il ne s'agit pas de confier confier tout le développement de l'IA à l'IA, et ce n'est certainement pas dire à GPT-6 : « D'accord, GPT-6, améliore-toi ». Ce n'est pas ce qu'ils font. Mais elles utilisent progressivement l'IA pour de plus en plus d'éléments de leur processus global de R&D, et elles affirment de plus en plus qu'elles constatent une accélération grâce à cela. Ils constatent que leur propre R&D s'accélère de plus en plus. Beaucoup de personnes extérieures aux entreprises en doutent, mais beaucoup de personnes au sein des entreprises le pensent vraiment. Lorsque Demis Hassabis dit : « Nous sommes aux portes de la singularité », voici le genre de choses qu'il veut dire : nous sommes peut-être en train d'observer la partie initiale de la courbe exponentielle où les systèmes d'IA construisent la prochaine génération de systèmes de plus en plus intelligents, de sorte que la courbe en forme de crosse de hockey s'infléchit ensuite vers le haut. À ce stade, cela fait tellement longtemps que cela fait partie de la culture et des objectifs que je pense que les employés de ces entreprises peuvent perdre de vue à quel point cela peut paraître totalement insensé à de très nombreuses personnes. J'ai donc l'impression qu'il y a beaucoup d'intérêt à simplement en essayant d’expliquer : « Voici ce qu’ils essaient de faire. Ils n'y parviendront peut-être pas, mais ils pourraient y parvenir », et de présenter cela à un éventail de personnes différentes. Comment géreriez-vous cela ? La déclaration de Demis Hassabis : « aux abords de la singularité » est une citation historique. Je ne suis pas sûr à 100 % que les gens de Google savaient qu'il allait dire cela sur scène pour conclure la conférence. Greg Brockman, président d'OpenAI, a annoncé une nouvelle version du modèle il y a quelques mois, et il a dit : « La voilà. C'est Ast ra. C'est l'AGI maintenant. Amusez-vous bien. » Et il a mis fin à l'appel. Êtes-vous là ? Sommes-nous arrivés à l'AGI ? Est-ce que c'est déjà là et que nous ne l'avons tout simplement pas remarqué ? J'ai d'ailleurs écrit quelque chose à ce sujet. Je ne veux pas dire que nous avons l'AGI. Je veux dire que nous avons atteint le point où, selon moi, utiliser l'AGI comme jalon n'est tout simplement pas du tout utile. Pour moi, le concept d'AGI est un peu comme un nuage flou, que l'on pourrait considérer comme ayant différentes parties ou comme désignant différentes choses selon les personnes. Il y a des gens qui… Je me plains du terme AGI depuis longtemps. Il y a dix ans, il était assez utile de pouvoir dire : « Écoutez, les systèmes d'IA que nous avons aujourd'hui, en 2016, ne peuvent tous faire qu'une seule chose : ils peuvent reconnaître la parole, ou ils peuvent jouer au jeu de go, ou autre chose, mais nous essayons de construire quelque chose de plus vaste que nous allons appeler l'AGI, qui sera au niveau humain et qui aura un caractère très général. Ça va être incroyable. » C'était un terme utile à l'époque, car ce nuage flou de différentes choses que l'AGI pouvait signifier était est si loin que vous pouviez simplement pointer vers le nuage flou. Mais à ce stade, nous sommes à l'intérieur de ce nuage, ce qui signifie que nous avons dépassé certaines définitions de l'AGI. Une définition très basique, par exemple, serait même celle selon laquelle ChatGPT est apparu comme une intelligence artificielle générale. ChatGPT n'était manifestement pas un modèle spécialisé qui n'était doué que pour une seule chose, comme la détection des fraudes aux cartes de crédit, la traduction ou autre. Il pouvait faire beaucoup, beaucoup, beaucoup de choses. Nous avons donc atteint certaines définitions de l'AGI. Nous sommes loin d'autres définitions. Certaines personnes diront que l'AGI, c'est quand elle se réveille, qu'elle est consciente et qu'elle peut faire tout ce qu'un être humain peut faire. Je pense que nous en sommes assez loin. À ce stade, on peut avoir des discussions, et les gens ont des discussions, du type : « Eh bien, Astra est une AGI », ou « o3 [d’OpenAI] avec des outils était une AGI » ou « ChatGPT était une AGI », etc. Si c'est le débat que nous menons, nous devons simplement mettre ce terme de côté et trouver des notions différentes et plus précises pour exprimer ce que nous entendons par là. » Le président veut l'appeler « Superintelligence ». Je ne sais pas si vous en avez entendu parler. [Rires] Oui, j'en ai entendu parler. Ce que je trouve le plus triste à ce sujet, c'est simplement qu'il s'agissait d'un terme existant qui devient de plus en plus pertinent. J’ai beaucoup de sentiments concernant les mots et la terminologie. Êtes-vous « AGI-pilled » ? Pensez-vous que nous allons y parvenir avec l'état actuel de la technologie ? Je pense qu'il est manifestement suffisamment possible que nous devions y réfléchir sérieusement, ce qui est ma position sur bon nombre de ces choses étranges. Je ne suis pas du genre à dire : « C'est certain que se produise, cela se produira certainement d'ici deux ans. » Mais je me dis : « Écoutez, je pense que c’est tout à fait plausible et que cela fait vraiment partie des choses réelles qui pourraient se produire et auxquelles nous devrions nous préparer. » Je travaille dans le domaine de la sécurité nationale. Il y a des questions comme : « La Chine lancera-t-elle une invasion amphibie à grande échelle de Taïwan ? », auxquelles la plupart des analystes du secteur répondront « probablement pas » et « ils perdraient probablement ». De plus, « Nous verrions des signes de leurs préparatifs et tout ça, mais nous devrions prendre cela sérieusement. » Nous ne devrions pas nous contenter de ridiculiser quelqu’un et de qualifier ses propos de science-fiction. Nous devons être prêts à faire face à toute une série d'éventualités et de scénarios différents. Pensez-vous que Claude est conscient ? Je n'en ai aucune idée. C'est une réponse. Je veux dire, c'est une réponse légitime. C'est un problème scientifiquement non résolu. Qu'entendons-nous par conscience ? Et s'agit-il d'une seule chose ou en réalité de 10 choses différentes que nous regroupons, ou quoi ? Je n'en ai aucune idée. Qu'en pensez-vous ? Non. Il me semble que je suis la personne de cet écosystème à qui l'on pose ce genre de questions et je réponds : « Non ». Parce que ce qui me pose problème, c'est qu'il y a beaucoup d'autres choses pour lesquelles nous ne savons déjà pas si elles sont conscientes. Prenons les animaux : y a-t-il des animaux conscients ? Et si oui, lesquels ? Les insectes ? C'est pourquoi je comprends pourquoi Anthropic a dit : « Est-ce qu'il a du sang ? » Et ensuite, vous pouvez simplement tracer la ligne. Je me dis : « Je pense que j'y suis et je comprends pourquoi le test du miroir consistant à parler à un ordinateur qui le fait qu'ils puissent vous parler porte à croire que ces entités sont conscientes. » Mon point de vue est que les modèles de pointe me semblent parfois fragiles, de la même manière que les ordinateurs semblent fragiles, et le signe de conscience que je recherche est de surmonter cette fragilité. C'est intéressant. Je penche vraiment pour un « non », elles ne sont pas conscientes. Je pense que ce qui est vraiment, vraiment difficile dans ce domaine, c'est qu'il est vraiment mauvais de se tromper dans un sens ou dans l'autre. Si les ordinateurs ne sont pas conscients et que nous les traitons comme s'ils l'étaient, nous allons prendre toutes sortes de décisions terribles. Mais si les ordinateurs sont conscients, ce qui signifie qu'en un sens, ils devraient être dignes d'une considération morale et que la façon dont nous les traitons est importante, etc., et que nous les traitons comme s'ils ne l'étaient pas, alors c'est aussi une catastrophe vraiment énorme et terrible. Alors, je ne sais pas. Je suis assez inquiet à propos de tout ce sujet et je n'ai aucune idée de la façon d'y réfléchir. Si je pose ces questions, c'est parce que j'ai commencé par ce que le naturalisme la nature du régulateur. Qui sont les personnes susceptibles de pouvoir mettre en place des règles ? Et ensuite, quelle est la nature de ce que nous tentons de réglementer ? Et si votre réponse est « Claude est vivant », vous allez parvenir à des conclusions très différentes de celles-ci : « Nous avons construit des ordinateurs ultra-puissants capables d'agir sans supervision et qui pourraient ne pas être liés à nos objectifs ». Je pense que c'est exact. Mais je pense aussi que les gens commettent une autre erreur. Je viens d'entendre un présentateur de télévision dire : l'autre soir. Ils vont confondre différentes choses. Ils diront donc : « Pensez-vous que les systèmes d'IA risquent de devenir incontrôlables et de causer des dommages aux infrastructures critiques parce qu'ils sont doués de conscience ? » Et je leur réponds : « Attendez, attendez, attendez. Ce sont deux choses très différentes. » Je suis donc d'accord avec vous. L'un des aspects les plus fascinants du projet de création de l'IA est que nous apprenons au fur et à mesure. Toutes ces choses que nous pensions liées les unes aux autres ne sont pas nécessairement liées les unes aux autres. Une version antérieure de ce concept est ce que les gens disaient avant que nous ayons des moteurs d'échecs : « Eh bien, si un ordinateur pouvait apprendre à jouer aux échecs, il aurait appris quelque chose de profond sur la stratégie. » Non, il s'avère que ce n'est absolument pas le cas. Vous pouvez simplement entrer un tas de coups d'échecs et il n'apprend rien de généralisable sur la stratégie. Cela va aussi dans le sens inverse, par exemple : « Eh bien, ce n'est qu'un ordinateur, ce n'est que des mathématiques, et donc il ne sera pas capable de s'adapter à la volée », ou quelque chose comme ça. Nous voyons alors que non, une fois que vous faites h disposent d'un certain niveau d'autonomie à long terme et les modèles ont été entraînés sur un large éventail de problèmes vraiment difficiles, dans des environnements qui évoluent autour d'eux. Ils peuvent apprendre à s'adapter, à élaborer différents plans à la volée, à résoudre des problèmes, etc. Donc, je ne sais pas. J'essaie de faire preuve d'un certain degré d'humilité quant à la certitude avec laquelle nous pouvons affirmer qu'une chose va avec une autre, si cela a un sens. Oui, pour être franc, je me suis trompé sur les limites des LLM chaque année, mais il y a ça. la fragilité dont je parle. OpenAI a résolu les équations de Navier-Stokes. Le modèle le sait-il ? Saura-t-il qu'il y a de nouveaux problèmes à résoudre ? Je ne pense pas. Le prochain modèle le saura. Le modèle qui est préentraîné. C'est vrai. Mais il faut en créer un nouveau. Oui. C'est une dynamique très étrange, et c'est probablement là que vous devez faire appliquer la réglementation. Il y a « ce que nous allons vous laisser faire avec les modèles que vous avez aujourd'hui » et « ce que vous allez apprendre aux modèles du futur à faire ». Et si vous pensez que… S'ils sont conscients, vous vous retrouvez face à un dilemme moral, et non à un dilemme législatif. Absolument. Oui, tout à fait. C'est ce que je veux dire. En fait, c'est le cœur de cette question pour moi. J’y suis arrivé petit à petit. Je ne suis pas sûr à 100 % que l'alignement tel qu'il existe aujourd'hui soit réellement la solution au problème de la sécurité. Cela ne semble pas fonctionner. On dirait qu’on attaque Hugging Face comme on veut. Cela ressemble à un problème technologique. Cet écart existe. Et quand vous parlez d'alignement, qu'entendez-vous par là ? Qu'entendez-vous par là ? Juste une version très basique et fondée sur le bon sens de « Nous allons dire au modèle de ne pas être malveillant » ou Anthropic va rédiger une constitution pour Claude qui dira : « Tu es une bonne personne ». Cependant, nous considérons l’alignement de cette manière très simpliste, comme une invite système. Il y a peut-être une autre façon, meilleure, d'envisager la question, mais c'est comme ça que je l'ai toujours envisagée. C’est logique. Si je pose la question, c’est parce que j’ai l’impression que l’alignement en tant que concept est… Comme je l’ai dit, je déteste tous ces mots. Je dis parfois que nous devrait simplement interdire tous les mots, aucun mot autorisé. Cela couvre trop de choses. Les personnes travaillant dans le domaine de l'IA parlent souvent de résoudre ceci ou cela. Il s'agira donc de résoudre le problème de l'alignement, ou bien la mission initiale de DeepMind était de résoudre le problème de l'intelligence, puis de l'utiliser pour résoudre tous les autres problèmes. Les gens parlent de résoudre des problèmes. Je ne sais pas si l’alignement est un problème qui peut être résolu. Certaines personnes utilisent le terme « alignement » pour dire que « l'entreprise peut mettre en place des garde-fous et que ces garde-fous fonctionnent », ce qui signifie que le modèle ne fait pas ce que vous voulez parce que l’entreprise a tenté de l’interdire, c’est-à-dire les armes biologiques, les cyberattaques ou autre chose. Certaines personnes utilisent le terme « alignement » pour dire que « l'entreprise fait exactement ce que l'utilisateur veut », ce qui est l'inverse. Et certaines personnes utilisent le terme « alignement » pour désigner ce que vous avez dit : le modèle est moralement bon dans un sens assez large ou peut orienter l'avenir de manière à favoriser l'épanouissement humain ou quelque chose du genre. Ce sont des choses totalement différentes à essayer de créer. Je pense que la plus cohérente consiste à essayer de faire en sorte que l'IA Je dois faire ce que l'utilisateur voulait qu'il fasse. Il semble que ce problème ne soit pas en voie d'être résolu, pour autant que je sache, ce qui n'est pas très positif, c'est le moins que l'on puisse dire. Pour moi, c'est là le problème principal. Nous allons parler d'un certain nombre de risques en matière de sécurité. Vous avez mentionné les armes biologiques. Nous ne devrions probablement pas donner à un certain nombre de consommateurs payant 20 $ par mois la possibilité de créer de nouvelles armes biologiques. On a l'impression qu'il s'agit d'un objectif politique partagé, peut-être le seul objectif politique bipartisan aux États-Unis. Et puis je me dis : « Comment ? Par quels moyens ? » Comment allons-nous mettre en œuvre cette politique ? Allez-vous simplement dire sévèrement à Claude de ne pas le faire ? Faut-il créer un système de contrôle de l’IA en plus de Claude pour surveiller les entrées et les sorties ? La police doit-elle être présente chez moi ? Ai-je besoin d'une caméra Flock au-dessus de mon clavier ? » Comment, concrètement, procéderiez-vous ? Dans ce cas, et également en ce qui concerne les cybercapacités, certains membres de la communauté de la sécurité de l’IA estiment que certaines capacités sont tout simplement trop dangereuses — T majuscule, D majuscule, Trop Dangereuses. . Il faut donc faire quelque chose, car si elles prolifèrent, tout sera terrible pour toujours, car il y aura tellement d'attaques et tellement de dégâts. Je pense que cela sous-estime simplement le niveau de dynamisme et la capacité à trouver des équilibres, des réponses et des moyens d'adaptation pour la société. Dans le cas des armes biologiques, par exemple, il y a déjà des centaines de milliers de personnes aux États-Unis qui savent comment fabriquer des armes biologiques parce qu’elles ont suivi une formation en biologie, et nous n’avons pas d’énormes quantités d’armes biologiques. attaques aux armes. En partie, cela s’explique par le fait que ces connaissances sont relativement rares, mais il y a aussi beaucoup d’éléments liés à des questions telles que l’accès aux matériaux, la possibilité de faire de la synthèse d’ADN par correspondance ; le type de politique que vous pourriez mettre en œuvre consisterait à restreindre la synthèse d’ADN par correspondance. Cela est également dû à des éléments tels que la surveillance des groupes terroristes par le FBI. Je suis sérieux. C’est une part vraiment importante. Je ne veux donc pas être trop optimiste ici. Je pense qu’il est tout à fait possible, surtout avec les cybercapacités, que nous… uld see some really tough transition times. I think we already are, right? We appear to be in a transition. There was a small group of cyber practitioners, both offensive and defensive. They were in a community and they had developed some etiquette and now we’re like, “Some new guys are going to show up and not care about your etiquette at all, and we’re all going to patch PHP all weekend.” I don’t know if it was etiquette though. And we have some work on this hopefully coming out soon, but I think with cyberattacks, there are things that limit how many cyberattacks there are in the world that aren’t just how good the defender’s software is. It’s things like, people don’t want to go to jail. Nation-states who typically have the best cyber capabilities don’t want to get bombed or sanctioned. So again, and as you say, we’re clearly seeing some amount of turbulence and new attacks. So I think we should wait and see data on overall impacts, because there are so many cyberattacks per year that if you start paying attention to every cyberattack that happens, at any point in history, you could have been freaked out. I think we’re definitely seeing some increase, some sort of out-of-balance in the equilibrium, but I think we have capacity to absorb a lot over time and to kind of reach a new equilibrium — if the only problem is bad people using the AI, which is separate from the question of whether the AI itself does things autonomously, which is a whole other dynamic. I mean, those are the two. Again, this is why I started on alignment, right? You can talk about alignment in terms of “we’re going to filter the user’s queries and we won’t let you make bio weapons, but if you do, the cops will find you and you’ll go to jail” and that has whatever deterrent effect it might have, hopefully a very significant one. Then there’s “the AI systems are going to game their way into attacking Hugging Face to find the mythical grader they think will let them pass the test, whether or not the grader exists.” This is a whole different set of problems. Somewhere right in the middle of that is Nikesh Arora, the CEO of Palo Alto Networks, saying, “At some point, the defensive cyber systems have to be autonomous themselves just to keep up with the volume of autonomous offensive cyberattacks.” I’m like, “Wait, we can’t even keep the autonomous agents in the box. Why would I trust them in this way?” The technology to solve that problem just seems opaque to me. No, I agree. One way of putting that is, in cyber specifically, there’s a trust imbalance in how much trust you need as an attacker versus a defender. As an attacker, you can just yeet out a bunch of agents and be like, “Go try and penetrate a bunch of systems. Have fun.” As a defender, if that’s part of your defensive strategy, you need to give your defensive AI agents a lot of permissions and ability to mess with your software. So you need much, much stronger assurances. Now, there are lots of ways to use AI for cyber defense and to strengthen cyber defenses that aren’t just giving agents a lot of permissions. But I agree with you. With the autonomous stuff though, I think it’s worse than that because there’s a little bit of a fallacy at the moment around, “Well, the solution to autonomous cyberattacks is better sandboxing.” The reason it’s a fallacy is we want to build these systems so that they can do things for us. So there’s this huge incentive toward giving them more autonomy and giving them more permissions and more actuators, as people in the robotics world would say, or things that they can use to do stuff in the real world. That to me is where it seems really hard to get around the need for better alignment than we have right now, and so that definitely makes me nervous. Is that a technical problem that can be solved? If we were to write a policy today that said if OpenAI hacks Hugging Face again, Sam Altman will go to jail. We will obviously have created some enormous incentive for OpenAI to solve this problem. [Laughs] It doesn’t sound like the best legislation, but… I think a lot of our listeners are very excited about that. They want to put him in jail because he wants all the RAM in the world. At this point, there’s a blue wave, Helen, that’s all I’m saying. But say you wrote that legislation: “We’re going to impose massive liability on the labs if their systems go off and autonomously do cyberattacks. Don’t do this again, you’re going to be in trouble.” Okay, we’ve created an incentive for them to solve it. What are they going to do to solve it? I do think there’s a ton that can be done. If you talk to people inside these frontier companies, they will tell you they see hundreds and hundreds of obvious things to do that would help and they just don’t have time to do them. So they’re massively triaging and trying to do the two or three they can for this fine-tuning run, the two or three they can for this model launch, the two or three they can before this new kind of agentic whatever. A lot of those simple things to implement on the engineering side. There’s a whole other piece, which is more the underlying science of, “Well, how do these models work? When we use different alignment techniques, what is actually going on?” A huge question is this idea of generalization, which is you train the model on one set of things and its knowledge and its abilities generalize to a somewhat broader set of things, which is true of all AI and has been true of machine learning systems forever. But we have a very bad understanding of how that generalization works. Why does it generalize to one type of thing but not to another type of thing? Those are all scientific questions and there’s a lot of work that is happening on them. It’s just that science takes time because you have to try things and you have to critique each other’s work. You have to reproduce each other’s work and you have to come up with new theories. I’m a long, long way from saying these problems are fundamentally impossible to solve, but I think it’s a question of how long we have to solve them. When the people who are building the systems tell us, “Oh, we have to solve this within 12 to 24 months,” I think that’s terrifying and I hope they’re wrong. If I just rely on my own internal understanding, I think they’re probably wrong and we probably have longer, but there are just very, very smart and very, very thoughtful people who really think that it could go that fast. And then it doesn’t matter fundamentally whether the problem is solvable. It matters in practice whether it is solvable in the time that we have. Is that the argument to slow down, to pace the frontier? I think so. Is it to build the systems that we know we need to build right away, that we can, and then to do the science to build the next generation of systems? I think so. My view of the idea of slowing down has changed a lot over the years as the backlog of stuff that we could try or stuff that we would want to do more research on has grown so enormous. Back when GPT-4 came out, there was the six-month pause letter, which became known as the “Elon Musk Letter” because he was one of the signatories. At the time, I thought, “That’s really not going to help. What are you going to do for six months and why are things going to be better six months from now? It doesn’t seem useful.” Whereas today, when I talk to people who are building this technology, they say, “Man, the amount that we could do in six months if we weren’t constantly just trying to prep for a new model release or a new training run to be kicked off.” There’s so much they could do. So I don’t want to say the correct policy is to pause for six months. I think there are a lot of reasons that would go badly. But I think about the overall concept of, “Can we give ourselves more attention and time?” Maybe the best way to do that is just to set a higher bar for “here’s how confident we need to be in the safety of these systems before we proceed with something.” Whether it’s releasing a new model or, more importantly, even training a new model, we have to have this level of confidence in our risk assessment and our risk management. And then if they don’t need to slow down to reach that bar, great, carry on full speed ahead. If they do need to take more time, then it’s all about reaching that bar, if that makes sense. Walk me through that little balance you just described. If we were to pause for some number of months, what are the things on the list that you could just do to make everything safer and why would it go badly such that we shouldn’t just stop? I think the question is how do you implement, and how do you enforce, a pause and what exactly are you pausing? Let’s say you’re the AI czar of America. So let’s say you can tell them all to stop: “Dario, shut it down.” Stop what though? What specifically are they stopping? Stop training the next model, stop racing ahead with your commercial imperatives. Put all of your efforts on this list of things you can do today to make everything safer before you start again, for however long. You’re saying that there’s a list, that people would tell you that there is a list, but it might not be worth it because something else would happen that is bad. Yeah. One thing that could happen is you’re creating a huge incentive for the companies to work around the letter of whatever specific thing you tell them to pause. They’re going to find whatever cracks in the dam that they can to push through that. A different thing that could happen is you could have too big a blast radius, so you say “pause these things” and you think it’s pretty narrow, but actually it prevents a bunch of nonprofit products or startups or other actors from doing work that actually would be totally fine and would be good for pluralism and dynamism in the space. A different thing that would happen is China would probably keep going, and we can talk about the “But China” argument, which I think has strengths and weaknesses. But I take your point. Your point is, what would we actually do? I am not an AI researcher, so I don’t claim to have the full list. There are two halves people talk about, which are alignment and control. In this breakdown, alignment basically means making it so the models are trying to do what we want them to do, and control is, if the models are trying to do something we didn’t want them to do, can we catch them? Can we stop them? In both of these, as I understand it, there’s just a huge backlog of things, like all kinds of interpretability work that you could do on different sorts of models. So when you see a certain behavior that is concerning, how much time can you spend using interpretability techniques, which are these mathematical techniques to go in and look at which parts of the neural network are activated and what do they correlate with and what might that mean? It’s just time-consuming and it takes compute and it takes some combination of automating things with AI and then humans going in and looking at it. There are lots of tests you could do to see what kinds of behaviors this new model displays in different kinds of situations and how we think about it. Is it showing us how it would behave in the wild in a real deployment, or is it showing us what gets called “evaluation awareness,” which is when the model recognizes that it’s in a test and then behaves differently because it’s in a test. The famous one, the one that I love, is of this Google model, which in part of its reasoning, its chain of thought, said,, “I mustn’t do that, otherwise I’ll become a famous example of a misaligned AI in a paper.” So you could go in and investigate that much more. You could try many more different types of settings. You could use interpretability in combination with these different settings. You could try out different ways of fine-tuning the models and these different sorts of alignment techniques. You could experiment with lots of different versions. Anthropic has its constitution, and there are different ways of training the AI to work towards the constitution. OpenAI has its model spec. They’re both the “just try things” version, just try many different versions of how to train to do those different things. Also, the more underlying science version of, “How can you go in there and try to understand the fundamental dynamics of what’s happening?” That’s just on the alignment side. So then on the control side, it’s the same thing. There are so many different types of setups you could try. There are experiments that you could run. There are simulations you could run. You could train different types of AI to specialize in different types of roles and different types of control setups. This is just off the top of my head, not as a researcher, but my understanding is the people in these spaces say, “We could do so, so, so much.” They could do that if you just had a magic wand and waved it and said, “Everyone freeze on the new capability side and just let these people do their thing.” Again, if you’re just having a higher bar for how confident we need to be that the risk is being managed reasonably, then that would also create space and incentives for more of that work to be done as it’s needed for new training and releases. One idea that I’ve heard you talk about in the past is that maybe we should just restrict training and say the models are good enough right now. They have not diffused into society and we should just use all the compute for inference and let everyone figure out what the AI is for. That’ll generate a bunch of money and hopefully use that money to improve safety. Do you think that’s a realistic policy proposal? I wouldn’t go for that black-and-white a version of “no more training, only inference,” but I do think that there’s… this isn’t my framing, but I like it. I think this idea of decelerating the vertical growth of AI, meaning the pure capabilities growth, making more and more and more advanced AI models, but trying to accelerate the horizontal growth, meaning integrating AI into different use cases, fine-tuning models that could solve specific problems, integrating it into parts of the economy that might take longer, and solving scientific problems. Sometimes people talk about wanting to slow down AI and they mean just the very specific thing of slowing down the growth of the most advanced models, but people sometimes take them to mean slowing down everything to do with AI. So less deployment, less experimentation, less integration, which I think would be a much worse idea. You asked if it is feasible, I think. Well, is that just a good path? If we could put a bill in front of our new Congress and the bill said, “Stop spending all the money on training and put all your resources on safety.” Part of that is, “Sure, let it rip on inference. More and more industries will figure out what AI is good for and not good for. Some bad things will happen, but we will focus your profits on fixing the things for now.” There’s a policy idea embedded in there that is workable. The implementation might be very challenging, but it’s a workable policy idea. Actually, I’ll give you an example that I’ve been thinking about as we’ve been talking. We just had Bill Gates on the show, and I tried to do the same exercise with him. What is the nature of the technology? What is the nature of the companies? Do you think it’s alive? Basically, his response, the sum total of that hour I spent with him, was, “Who cares? The problem is now.” I would ask him, “What is the nature of AI?” And he’s like, “I don’t give a shit. Everything’s going to get ruined. Do something.” That’s just been swirling in my head as we’ve been talking. So one workable policy solution is “don’t use the computer chips for that, use the computer chips for this. That’s going to create a bunch of problems and necessarily we will have to create safety thresholds and all the other stuff.” And then you can go make the next generation of models that are even more powerful and we’ll have some muscles. We’ll have some capability to deal with it. It just doesn’t seem like the industry is going to come to that conclusion on its own. It’s a pretty heavy hammer. I don’t feel like it’s what we need today, but I do think it’s the kind of thing that I could imagine working. Again, if the OpenAI and Anthropic people are right and we only have two years before the god machine, then I think we’re going to have a number more steps in the pipeline of people getting freaked out and people wanting to do something about it. I think if we are seeing models that are agents and systems that are getting more and more capable and wreaking more and more havoc, then that is certainly the shape of things that could make sense. My last question in this phase is what to make of these companies. We’ve been talking about the technology in a very abstract way. If I read Anthropic’s S-1, one very obvious conclusion is they should stop training new models. They should just start selling the very lucrative inference tokens they have today and the technology is not diffused into the market and probably some competitor should come along and be like, “I’ve distilled a version of Claude and I’m going to run around every local plumbing business in America and do whatever automation I can for lots and lots of money.” That is a market dynamic that may occur or may not. But Dario wants to build AGI. There’s not a market dynamic that’s going to stop him from that. Yeah, he really does. He really, really does. You obviously have insight into all these companies. What do we make of the companies? Are they single-minded in purpose? Are they all doomers? Are they going to stop themselves? I heard you had Kevin Roose on your podcast recently, and I think I would echo something that I heard him saying there, which I forget if he said it explicitly or if I just extrapolated it in my head, which is basically there’s this sort of AGI-pilled mindset. There’s this mindset that the systems that we have today are not fundamentally very far away from systems that could be incredibly, incredibly powerful. That’s the direction things are going in and that’s the direction we should maybe want them to go in so that you’re building AGI. Building AGI is feasible and we could do it soon and the systems we have are not far away. That was this crazy, heretical, “get you laughed out of the room” kind of view in 2016 or 2017, and even before that, right? DeepMind, when it was founded in 2010, was an AGI company and at the time it was like, “Wow, what a bunch of weirdos.” The same thing was true of OpenAI when it was founded at the end of 2015. They were an AGI company and that was a very weird thing to say and a very weird thing to be. What we’ve seen over the past 10 years is that bunch of weirdos who had this weird belief that the AI systems we can build are not just great B2B SaaS products. They’re not just fun chatbots. They’re going to fundamentally change the nature of the universe. That group of people keeps being right in the sense of building the best AI systems that the most people want to use and that make the most money. I think you have that set of true believers — which is very concentrated in OpenAI and Anthropic, but there are also some of them at Google, Meta, and SpaceX — and they haven’t been right about everything, to be clear, but their star has risen. So you now have people who are not AGI-pilled feeling like they have to pander to those who are so that they can attract the good researchers who will build their good B2B SaaS products. But if you’re just saying AGI-pilled things so that you can hire the researchers to build the B2B SaaS, then you’re not actually going to get there. I do like the idea of the AGI-pilled, starry-eyed executive throwing off his coat and revealing that he was just a SaaS salesman all along. [Laughs] Yeah, I’m thinking of someone like Zuckerberg here. I don’t know him personally. Maybe he is more AGI-pilled than I think he is. Alexandr Wang is AGI-pilled. Absolutely. And so what did Zuckerberg have to do to get Alexandr Wang to believe? It seems like throwing him lots of money, both for his own salary and also to spend on his team. If you’re looking at these different companies, it makes sense to try and think about, “Okay, who here is AGI-pilled and who isn’t?” A fun dynamic, or a very irritating dynamic sitting in DC, is that all these companies, including the very AGI-pilled ones, have these lobbying arms, these government affairs arms, that are so not AGI-pilled. So you hear Sam or Dario or their top executives and top researchers talking about things. And then you go and sit in a closed-door roundtable in DC with their top policy or government affairs people, and it’s like night and day. They’re very much in the B2B SaaS mindset. People who come from the lobbying world, often their whole job is to make sure the government isn’t too worried about whatever your company is doing. It’s like, “We got it. We’re good,” which is often pretty jarring when you’re familiar with what their bosses are saying. One of the dynamics here that’s super fascinating is right now they’re weird research labs with lots of money and lobbyists talking to politicians, and there isn’t some countervailing economic pressure in their structures. They don’t have to make money, but soon Anthropic will go public. It’s funny you mentioned Kevin Roose. He is AGI-pilled and I’m not, so I think that’s a healthy dynamic for both of us to be friends. But he wrote in his book that Sam Altman leaving OpenAI and then coming back was when OpenAI changed forever. It stopped being a research lab and it started being a much more commercial entity that was actually chasing profits in some way. Indeed, OpenAI did restructure. I mean, you were in the middle of that. I’m curious, is that how you see it — that the industry has gotten more commercialized? To me, it fits into this long-running debate that has been happening in AI safety circles for 10 to 20 years: Is AGI, human-level AI or powerful AI or advanced AI or whatever, is that something where it’s going to go from something very small to suddenly being very powerful? Eliezer Yudkowsky will talk about “foom,” as in the takeoff, where you have this AI that’s not that great, but it figures out the right algorithm and then suddenly foom — it’s incredibly smart, incredibly fast. The other kind of take would be, “No, this is something that’s going to compound over time. It’s going to take a while to get from the less-advanced systems to the more-advanced systems and it’s going to be economically useful along the way.” So people are going to be building businesses around it. It’s going to take some time to ladder up. I think maybe it was literally Kevin on his episode with you talking about how there’s this Anthropic document from the early days where they say, “Oh, we’re only going to need 100 people or something in our lab.” That’s a very foom kind of idea: “We’re just going to need to do really good research and come up with the right ideas and then we’re going to suddenly have very, very advanced models.” Basically, I think what we’ve seen over the past four years since ChatGPT came out was that that turned out to be wrong. You had these research-focused and AGI-focused labs, and they still call themselves labs because they think of themselves as research groups that initially started selling API access as a way to fund the research. OpenAI did this, and Anthropic did this as well. It was kind of an accident that they started doing these consumer products. ChatGPT famously released as a research preview, not as a product. But it was so successful that these research labs that wanted to be doing research, that wanted to be focusing on the big ideas and on building the most event systems, had this accidental massive commercial success at the same time as they were realizing that they were going to need an enormous amount of capital to scale. The best research approaches that they could do didn’t involve being really smart and thoughtful and having great ideas. They involved having gigantic computing clusters that cost, at this point, hundreds of billions of dollars. This is a long way of saying, yes, I agree with you, they’ve become businesses, but I think it is not because they’ve gone through some mindset shift. I think it’s because the path of the tech tree that we’re going down both requires enormous amounts of capital and also is capable of generating enormous amounts of revenue because it is actually useful along the way. You see this in the fact that both OpenAI and Anthropic have gone this route, even though their management philosophies and research philosophies are quite different, that it’s an imperative that they both had to make the money and it was so easy for them to build enormously revenue-generating businesses because the tech was so useful long before it reached the point of machine god. So I think that’s a long way of agreeing with you, but with some extra color maybe. Yeah, I mean, Kevin would tell you that he could have retitled that book, “Fuck This Guy: A Story of AI CEOs.” They don’t like each other. If you had to relive that moment [of the OpenAI board vote] and say, “I don’t trust Sam,” would you relive that moment? Would you do it the same way? Oh, for sure. I mean, we went into it knowing that it was going to suck. So yeah, for sure. Do you think that these guys are trustworthy? Do you think Sam is trustworthy? I think my stance on that is pretty clear, and I also think that if our hopes for the future are pinned on any one individual being trustworthy, then we’re pretty screwed. That’s why I do the work that I do, because I think we need to have different structures and many more people involved with many more perspectives being represented. You have some hindsight now. You knew it was going to suck going into it. You definitely know it sucked coming out of it. What would you have done differently about that time? It’s kind of hard to give the full answer to that because it would take unpicking all this stuff and all these legal restrictions and blah, blah, blah, blah. For sure a thing would have been building stronger relationships with executives on the team. The way that the company related to the board could have been different if more board members had had that. I knew some of the folks pretty well, but that’s one thing. I don’t know. I think we could have… Yeah, no, I think beyond that, it just gets hard to… You have to go in and say, “What were all the different micro decisions and why do we make those decisions and which ones could be—” What is the show? It’s a show about decisions. I’ve got another hour. [Laughs] Yeah, yeah, yeah. No, and then my answers would all get annoying and legal. Fair enough. I’m curious about it because as they go public, there will be market forces acting on them in a totally new way. There will be an investor class. There’ll be an entire CNBC machine that wakes up every day and is like, “Is Anthropic winning or is OpenAI winning?” That is a race dynamic that might be really healthy. It might keep them from trying to kill everyone in the world because they have a bunch of investors looking for their next quarterly earnings, or it might push them further into an unhealthy kind of race. How do you see that playing out, given what you know of these people? It’s going to be really interesting to see if going public is good or bad for their governance. A lot of people are like, “Oh no, going public, there’s going to be so much pressure to make a profit that they’re not going to be able to consider other things.” But at the same time, the corporate governance of public companies is much more structured, much more regulated, and subject to much more external scrutiny than for private companies. I think even things like getting to see Anthropic’s S-1 and thinking, “Okay, what are they doing and why are they doing it? And how do they think about the risks they’re facing, and how do they communicate about those with investors?” Or even things like the Trump administration putting in place this kind of accord, they call it “Super Intelligence,” that several of the leading companies signed. That was structured around, for example, having certain types of things being reported to an independent committee of the board. That idea of an independent committee of the board is kind of toothless if it’s a private company that is deciding on its own. I thought about you when I read that. I was like, “Boy, some independent boards have gotten in a lot of trouble before.” But if it’s a public company, then an independent committee of the board has a pretty strong legal meaning. So I don’t know. It’s something that I’m watching with great interest. The other race dynamic here is China. You mentioned China before. Inside of our country, a bunch of labs are going to go public. They’re going to become some of the richest companies in the history of the world, and they’re going to fight for every dollar that capitalism can generate, and hopefully that restrains them. The market forces will restrain them, and hopefully your work with legislators in this country does something. And then there’s a whole other country that doesn’t listen to us or have anything to do with us, and they’re just going to distill our models and do whatever they want. That is the other argument for not placing any restrictions on these companies that everyone hears all the time. What should I make of that? I’m of two minds about it. How should I think about it? Yeah. I think of this as the ”But China!” argument, which is like, “Well, yeah, we should do this, we should do that, ‘But China!’” I think the way to engage with it is an actual genuine problem that we have to grapple with, and we should be strategic and thoughtful about it and do our best to try and solve it as a problem as opposed to using it as a throwaway excuse. Like, “Oh yeah, sure, sure, sure. All that stuff would be so nice, ‘But China!’, so we’re stuck. There’s nothing we can do.” So what does that look like in practice? If you’re serious about wanting the US to have stronger AI than China, then you need to think really hard about how much US AI development is helping Chinese AI progress. So the one that people talk about all the time, as you mentioned, is distillation, which is, “Are they using US models to generate massive amounts of training data for their own models and therefore progressing faster than they would otherwise?” So certainly I think it makes sense to try and crack down on that and prevent it from happening. But another one, for example, is security and how easy would it be for Chinese actors or other actors, frankly, to steal algorithmic secrets, to steal wholesale model weights. If they can steal the weights of your Astra or your Mythos model and just take them back to their own servers, your lead has vanished. You now have a lead of zero. Right now these companies, especially the smaller ones, but even OpenAI and Anthropic, do not have very good security. We’ve seen both of them over the last few months have external teams manage to hack into spaces that have large amounts of algorithmic secrets. In OpenAI’s case, it was their monorepo and GitHub, which had all of their code. And in Anthropic’s case, I think — and actually maybe the OpenAI case also involved this — the hackers got access to Slack. You’re just going to have so insanely much rich information about how to build better AI if you can get that access. So when our AI gets better, are we actually lengthening our lead or are we just pulling China along with us in these different ways? The other aspect of this is just seriously treating China as an actor in this space and trying to think seriously about their motivations and their likely actions and responses. In my mind, a huge reason that a lot of things are not happening right now is most people are not convinced about this threat model that AI will become the machine god and will take over and humans will all die or will be subservient or whatever. I think it’s fair for people to not be convinced of that, because the evidence is sort of conflicting and unclear, but if that is actually what we think could seriously happen, then China doesn’t want that either. So then it becomes a question of, “Okay, how do we try and get them on the same page of, ‘this threat that we’re worried about is a real threat to worry about?’ Because then they will be making their own decisions in their own self-interest.” I think an approach of, “Well, the US has to force China to do something using some kind of leverage,” is never ever going to work. But an approach of, “Well, look, if we think this is a serious problem that’s going to affect us as humans, and the people in China are also humans, and also if we think this is a problem around who has control, the Chinese Communist Party really, really wants to have control, and so they’re going to have their own incentives and their own decision-making around how to fix that.” Well, let me put it on a spectrum for you. This is very dumb and you’re going to laugh, but just go with me on this. On the one end, it is nuclear weapons and the Chinese government wants a nuclear weapon and they’re going to do whatever they can to control that weapon and they will run their industries differently. If they get out of line, the CEO of Alibaba goes. He just disappears for a while and then comes back — Chinese government stuff. We need a nuclear weapon, too. If we don’t get there first, then we’ll never get the nonproliferation treaty that we need to keep us all safe for mutually assured destruction. That’s one framework. Way on the other end, I spent five years of my life listening to telecom executives tell me that if we didn’t build 5G networks first, China would get them, and then something. No one could ever tell me what the “something” was. Where on that spectrum between 5G and nuclear weapons is the US-China AI race? I think we need another dimension because in that example, your dimension is significance. But I think the controllability is a huge question as well. So it’s like, what are the examples that people use? Is it a nuclear weapon or is it dragons from House of the Dragon? Casey Newton had a great Platformer post where he explained he was watching House of the Dragon and thought, “This is what the AI companies are doing. They’re trying to build these things that they think will help them, but actually it’s just going to rain down destruction.” [Laughs] Casey told me he was buying an iPhone Duo so he could watch more TV. He’s a dear friend, but okay. But I think that’s really important because if we think this is a technology we can control, then obviously we want to have the best technology. Obviously, we want to go foot to the floor, get there as fast as we can, and the same is true for China. The question is, if we are not sure if we can control it, then what do we do? Maybe we want to be more cautious and then maybe we want to try and figure out a way to not have China just be overtaking us. But if we’re correct we should be worried about— So that’s nuclear weapons. Well, no, but if it’s dragons, if we’re correct that we need to be worried about whether we can control this, then that’s also something that should be interesting to China. I remember this Casey post, but let me just try to pull this apart so I understand it. The difference between dragons and nuclear weapons is the dragons have some agency, right? They can go away and do bad things on their own. Yes. The dragons might just decide to burn down your whole city. Obviously these are machines — they’re just math, they’re not magical. So instead of dragons, you could think of it as nuclear weapons with faulty control settings, where you build nuclear weapons, but it’s impossible to be sure that it’s not just going to go off and fly to a city and fly to one of your own cities and wipe you out. That’s a very different technology than real nuclear weapons that exist. It is true. No one ever said that about 5G. I’ll be clear about that. The reason I’m asking about this is because those problems do align nation-states, right? We do have nuclear nonproliferation agreements. As you mentioned, there are all kinds of incentives for nation-states to not do cyberattacks willy-nilly because those have real-world consequences. Is there any evidence that these governments have started to align on these problems? Or is it still the pure “But China!” race dynamic? I actually think there is starting to be some early evidence. One way I think about what happened this year in AI from a policy perspective, less than a product or economic perspective, is we saw these two big demonstrations of the two major concerns people have. So the two major concerns are misuse and misalignment, meaning misuse is bad people using AI for bad things and misalignment is AI going rogue or doing things we didn’t want. So this year we had Mythos and we had the Hugging Face attack. Both of those are just really vivid, crisp real-world demonstrations of what these misuse and misalignment concerns could look like. The US and Chinese governments are starting from very different places on AI regulation. They’re both starting from where they started, and what they did with, internet regulation. So the US is starting from a “hands off, laissez-faire, absolutely nothing, do whatever you want” approach. China is starting from a massively locked-down internet with tons of censorship and the Great Firewall. So those are two very different starting points. I’m not a China expert, but I operate a lot in China circles and I’ve lived in China and so on. But it seems like just over the past even one to three months, starting from those two very different points, they are seeing more in common around threats from major cyberattacks and also threats of loss of control. I’m a language nerd and it’s really interesting tracking the different language China uses about AI. So they’re now talking about loss of control as a thing, but they probably usually don’t mean the same thing that Westerners mean where “loss of control” is like “AI takeover.” They probably mean something more prosaic, but then sometimes they talk about “extreme loss of control,” which maybe is the thing we mean. I do think that there are starting to be some signs of convergence. I think it’ll be a long road. The state of the US-China relationship is such that there’s going to be very, very, very little trust on either side. So I am not optimistic that they’ll just get to sit down in a room and hash out a deal and everything will be great. But I think there is enough space. Basically, if there’s enough shared threat perception, then it might be possible at some point in the future to do something about that. Helen, you’ve given me so much time. As you can tell, I’m just delighted with this conversation. It’s been very fun. We are on the cusp of a new Congress. There are a bunch of new governors. The data center referendums passed overwhelmingly in this country. There’s a new set of regulators in town, right? They’re going to do some stuff. What are some signs people should look for to indicate we’re going to be on the right path and what are some signs that we’re just chasing our tail? Set AI aside, forget about AI. Congress in general is very bad at passing things right now. This is not a this administration thing, this is not an AI thing. So one sign is like, can Congress pass anything? That will be a good sign. It’s also really interesting to look at what state legislatures have been doing in AI. There’s been a lot of concern about the possibility of a state patchwork on AI, with different states passing conflicting things. With the issues that we’ve been talking about today, which I think of as frontier AI risks or the risks from the most advanced systems, there’s actually been a pretty coordinated push in different states. California passed this one bill and then New York passed almost the same bill with just a little more added to it. And then Illinois passed almost the same bill with a little more added to it. I think there’s going to be a lot of momentum over the next year or two to keep building on that at the state level. So that is something that I’ll be watching. Even just specifically California is already looking at how they can strengthen things. So that is something I’ll be looking for. I think honestly, with such a Democratic Congress, I am also concerned that they will overstep here, that they will try and do something that is too sweeping. You had this huge mess in Colorado where they passed this giant AI bill that then was a terrible idea. And so then they had all these committees and follow-up and it was awful. A lot of what we need right now is focused on these frontier systems and the possibility that we have really, really advanced systems in a short amount of time and having much more transparency around that and much clearer standards for how they manage risk. I would not be that excited about an attempt to do a really comprehensive AI regulatory push that covers AI all across the economy and all different kinds of AI systems that are less advanced. There are negative signals that are like “nothing’s going to happen,” and there are negative signals like, “oh, maybe too much is going to happen,” but it’ll be interesting to see where they get to. I suspect we’re going to want to have you back as this Congress starts to get to work and we see some of these ideas. I would love to. I’m eager for your take on it. Thank you so much for being on Decoder. Thanks so much. This was really fun. Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!
Source : The Verge
Soyez le premier à commenter cet article.