Quién frena primero en una carrera que nadie quiere perder

Hace unos días, Dario Amodei, cofundador y consejero delegado de Anthropic, publicó un ensayo titulado We Must Pace the Frontier en el que hace un llamamiento para que se ralentice el ritmo con que avanzan las capacidades de los modelos de inteligencia artificial. Su argumento es que invertir en seguridad no basta si las capacidades de la IA crecen más rápido que nuestra posibilidad de comprenderlas y controlarlas. En particular, le preocupa la “automejora recursiva”, la capacidad de la propia IA de intervenir en el desarrollo de nuevas versiones, cada vez más potentes, acelerando el proceso y dejándonos menos tiempo para aprender a gobernarla. Su propuesta no es abandonar la investigación, sino avanzar más despacio para poder hacerlo con más seguridad.

Sin embargo, no es la primera vez que escuchamos un llamamiento de este tipo. Hagamos memoria. En marzo de 2023, la carta abierta Pause Giant AI Experiments, entre cuyos firmantes figuraban Elon Musk y Steve Wozniak, cofundador de Apple, reclamaba una pausa de al menos seis meses en el entrenamiento de sistemas más potentes que GPT-4. La carta pedía que esa moratoria fuera pública, verificable y compartida por los principales laboratorios de desarrollo de IA, y que los gobiernos intervinieran si no se alcanzaba voluntariamente. Ese tiempo debía emplearse en protocolos de seguridad, auditorías independientes y mejores instituciones de gobernanza. 

Dos meses después, el 30 de mayo de 2023, el Center for AI Safety publicó la Statement on AI Extinction Risk, una breve declaración que reclamaba hacer de la mitigación del riesgo de extinción asociado a la IA una prioridad global, al mismo nivel que la prevención de pandemias y guerras nucleares. Entre sus firmantes figuraban Dario Amodei, Sam Altman y Demis Hassabis, máximos responsables de Anthropic, OpenAI y Google DeepMind, respectivamente. Es decir, los líderes de algunas de las principales empresas que desde entonces han contribuido a acelerar la carrera por la IA reconocían públicamente en aquella declaración que la tecnología que estaban desarrollando podía tener consecuencias de una gravedad extrema. Reconocían un riesgo y, aun así, siguieron investigando. Es cierto que esto no constituye, por sí solo, una contradicción. Pero lo que exige explicación es que aquellas advertencias hayan convivido con una carrera por acelerar las capacidades de la IA. ¿Qué límites impusieron a sus decisiones y qué estaban realmente dispuestos a sacrificar para reducir los riesgos que reconocían? 

En septiembre de ese mismo año, Mustafa Suleyman, cofundador de DeepMind y posteriormente máximo responsable de Microsoft AI, planteaba en su libro The Coming Wave, escrito con Michael Bhaskar, la idea de containment o contención. Con este término se refería a la capacidad de controlar, limitar y, cuando resulte necesario, detener el desarrollo y despliegue de una tecnología antes de perder la posibilidad de intervenir sobre ella. El libro abordaba tanto la inteligencia artificial como la biología sintética. El reto, de nuevo, era cómo conservar capacidad de intervención sobre tecnologías cuyo poder y difusión pueden terminar superando los mecanismos con los que intentamos gobernarlas.

El caso es que, desde principios de este año, el debate sobre la urgencia de una respuesta coordinada frente a los riesgos de la IA se ha intensificado. En febrero de 2026, Daron Acemoglu, David Autor y Simon Johnson publicaron Building pro-worker AI, una propuesta para orientar la innovación hacia tecnologías que hagan más valiosas las capacidades y el conocimiento de las personas. Su análisis pone el foco en los incentivos que llevan a invertir en automatización y en las políticas que podrían favorecer otras trayectorias. De este modo los autores incorporan a la mesa de debate la discusión sobre qué dirección damos al desarrollo de la IA y quién se beneficia de ella, una dimensión que las conversaciones sobre seguridad técnica pueden dejar en segundo plano.

Tres meses después, en mayo, la encíclica Magnifica Humanitas de León XIV situó la dignidad humana y el bien común en el centro de esa responsabilidad. El texto reconoce que la prudencia puede exigir un ritmo más lento de adopción, reclama supervisión independiente y advierte del riesgo de dejar decisiones de tanta trascendencia en manos de unos pocos actores.

Ya en julio, los economistas Erik Brynjolfsson, Ajay Agrawal, Anton Korinek y Tom Cunningham impulsaron la declaración We Must Act Now: A Statement on AI’s Transformation of the Economy. Un grupo numeroso de economistas e investigadores de la IA, entre ellos 16 premios Nobel en el momento de su lanzamiento, pedía instituciones, salvaguardas e incentivos capaces de orientar la tecnología hacia la complementariedad con las personas y el beneficio social. Unas propuestas que no equivalen a una moratoria general, pero cuestionan que la trayectoria tecnológica deba aceptarse como inevitable.

Quince días más tarde, la declaración Pacing the Frontier, firmada por más de mil empleados de empresas de IA “de frontera”, entre ellos el propio Amodei, pidió al gobierno estadounidense que apoyara un esfuerzo internacional para desarrollar herramientas técnicas y de gobernanza capaces de acompasar el desarrollo automatizado de IA. Hay que destacar que la declaración identificaba la presión competitiva como uno de los mayores obstáculos, en la medida en que dificulta que una empresa o un país decida ralentizar unilateralmente. 

El 26 de agosto, Bill Gates añadió otra advertencia en un artículo publicado en Gates Notes titulado The turbulent AI era is here. The choices we make now are critical. Al fundador de Microsoft le preocupa que la IA agrave las desigualdades y que las instituciones no estén preparando la transición. Afirma que probablemente apoyaría un plan creíble para ralentizar globalmente los avances, aunque duda de que llegue a existir porque los incentivos económicos y geopolíticos empujan demasiado hacia la aceleración. 

Desde luego, no será porque no nos han avisado… 

Las advertencias llegan desde la investigación, la economía, la ética y las propias empresas del sector. Sus diagnósticos y recetas pueden ser diversos, pero su acumulación hace cada vez menos convincente atribuir la falta de acción a que no se haya señalado suficientemente el problema. Aunque también es verdad que escuchar una advertencia cuesta bastante menos que modificar una decisión de inversión o renunciar a la posibilidad de lograr una recompensa sin precedentes.

El 9 de septiembre de 2026, el ingeniero de Anthropic Jacob Coxon publicó un hilo desde su cuenta en X. Reproduzco a continuación sus cuatro primeros mensajes, traducidos al español:

“Hoy he dimitido de Anthropic. He pasado los últimos tres años investigando sobre el preentrenamiento de modelos tanto en OpenAI como en Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Están compitiendo por llegar directamente a una superinteligencia capaz de mejorarse a sí misma y jugando con nuestras vidas. Comparto más reflexiones a continuación.

No subestiméis el poder de esta tecnología. Pronto serán sistemas con capacidades superiores a las humanas, capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos de los avances en cada uno de estos ámbitos, y el progreso no se está ralentizando.

Las personas que están desarrollando la IA creen sinceramente que podría matarnos a todos antes de que termine esta década. Esto no es una maniobra de marketing. De hecho, muchos directivos e investigadores sénior moderan sus palabras ante la prensa para parecer sensatos, pero escucho a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana entraña este nivel de peligro.

Una respuesta habitual es: «Si de verdad creen esto, ¿por qué siguen desarrollándola?». En OpenAI, muchos no han interiorizado plenamente lo que está en juego para nuestra civilización. En Anthropic sí lo comprenden, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, así que deben hacerlo ellos mismos, a pesar del riesgo. (…)”

El hilo continuaba. Su advertencia de que la IA podría acabar con la humanidad antes de terminar la década concentró buena parte de la atención mediática, especialmente cuando otros investigadores de Anthropic respaldaron públicamente la preocupación de Coxon. Evan Hubinger expresó una estimación personal de riesgo de extinción superior al 10 % durante la próxima década, mientras Samuel Marks señaló que, en su experiencia, los empleados más sénior tendían a estar más preocupados, lo que también es una apreciación personal, no una probabilidad científicamente consensuada. Aunque, en mi opinión, lo más destacable es la lógica que describe Coxon. Según él, seguimos acelerando porque no confiamos en que los demás sean responsables. Una justificación que permite que cada organización considere que es prudente al mismo tiempo que contribuye colectivamente a una carrera que juzga muy peligrosa.

Si la renuncia de Coxon fue una decisión concreta en una conversación dominada por declaraciones de intenciones, otra fue la decisión de Sam Altman de descartar la salida a bolsa de OpenAI este año, alegando el mucho trabajo en materia de seguridad todavía pendiente. Lo explicó en una entrevista en Fortune, realizada el 11 de septiembre y publicada al día siguiente. No sabemos cuánto influyó realmente el hilo de Coxon en ese aplazamiento, pero Altman calificó de inaceptable (aunque no lo planteara como una estimación propia) asumir un riesgo del 10 % de que la IA acabara con la humanidad antes de terminar la década. El peligro que Coxon había colocado en primer plano pasaba así a formar parte de la justificación pública del aplazamiento. De todas maneras, lo que todavía está por ver es el valor de esta decisión como señal de responsabilidad. Todo dependerá de qué cambie en el desarrollo de la tecnología, más allá del calendario financiero, y de si se traduce en controles independientes, restricciones verificables y la disposición a detener avances cuando la seguridad lo exija, aunque eso cueste ingresos o ventaja competitiva.

En este sentido, el ensayo de Amodei del 12 de septiembre, con el que comenzaba este artículo, propone una respuesta mediante evaluadores externos integrados en los laboratorios, coordinación entre democracias y acuerdos internacionales. El posterior apoyo de Sam Altman y Elon Musk refuerza este llamamiento. Según Bloomberg, Altman ha respaldado la incorporación de evaluadores independientes con un nivel de acceso comparable al de los empleados de las empresas, mientras Musk ha dicho públicamente que Amodei tiene razón. Pero también hay que reconocer que, como mínimo, resulta llamativo que algunos de los principales impulsores de la aceleración tecnológica reclamen ahora prudencia ante la velocidad alcanzada. Es como si quienes han competido por pisar más fuerte el acelerador empezaran a preguntarse por la distancia de frenado. En cualquier caso, una cosa es apoyar unos planteamientos en las redes y otra cosa muy distinta es un acuerdo operativo sobre cuánto ralentizar, en qué condiciones y con qué consecuencias en caso de incumplimiento. 

Además, creo que hay que diferenciar entre quienes advierten desde dentro, como Coxon, y quienes tienen autoridad para decidir el ritmo de desarrollo de la tecnología. A estos últimos les corresponde demostrar su capacidad para anteponer la prudencia a sus intereses. Pero, a estas alturas, cuesta conceder crédito ilimitado a unos líderes que reclaman contención mientras dirigen empresas cuyo éxito depende de ganar esa carrera. Firmar un manifiesto no debería funcionar como un seguro de responsabilidad moral que permita seguir haciendo lo mismo mientras queda constancia de que uno ya había advertido del peligro. Tampoco debería reservar a sus promotores el derecho de definir qué riesgos debe aceptar el resto de la sociedad. 

Y aquí vuelve a ser útil tirar de memoria. Musk firmó la carta de 2023 que pedía una moratoria de seis meses en el entrenamiento de sistemas más potentes que GPT-4. Altman y Amodei no, pero sí firmaron la declaración que reclamaba dar a la mitigación del riesgo de extinción asociado a la IA una prioridad comparable a la prevención de pandemias y guerras nucleares. Tres años más tarde, sabemos que aquellas firmas no se tradujeron en una ralentización compartida de la carrera por la IA, y esa experiencia nos obliga a preguntar qué compromisos verificables acompañarán ahora a estas nuevas declaraciones y qué decisiones cambiarán cuando cumplir esos compromisos tenga un coste. Porque las declaraciones pueden ser sinceras, pero resultar insuficientes frente a incentivos que empujan en sentido contrario.

Un aspecto importante que tener en cuenta es que el poder para intervenir en la velocidad de esta carrera está muy concentrado en unas pocas empresas, gobiernos y proveedores de infraestructuras. En principio, que haya pocos actores decisivos podría facilitar un acuerdo, pero, en la práctica, además de no compartir siempre los mismos intereses, esos actores creen jugarse demasiado, ya sea mercado, talento y rentabilidad, en el caso de las empresas, o soberanía tecnológica, capacidad militar y posición internacional, en el caso de los gobiernos. Desde esa perspectiva, frenar puede interpretarse como darle una ventaja al adversario.

Las recientes declaraciones de Donald Trump evidencian esa jerarquía de preocupaciones. Preguntado por el riesgo de extinción asociado a la IA, Trump respondió que no tenía inquietud al respecto y trasladó el foco al peligro de que Estados Unidos no ganara la carrera. Son declaraciones políticas, no una evaluación científica del riesgo, pero importan porque proceden de alguien cuyo apoyo sería decisivo para hacer efectiva parte de la coordinación que propone Amodei. Si el principal peligro se define como perder, frenar puede parecer irresponsable.

Desde China, la respuesta es más compleja de lo que sugiere una simple oposición entre acelerar y frenar. El 15.º Plan Quinquenal concede un lugar central a la IA y a su extensión por diferentes ámbitos de la economía. Más recientemente, el 13 de septiembre, Xi Jinping anunció en la cumbre de los BRICS que China impulsaría una comunidad de IA abierta, cooperación en modelos de lenguaje y programas de formación. Una iniciativa que muestra que su ambición tecnológica incluye extender su influencia internacional, además de desarrollar capacidades propias.

Pero esa ambición convive con una preocupación explícita por la seguridad. Según Reuters, los marcos chinos de seguridad de la IA contemplan desde 2024 la posibilidad de que sistemas avanzados escapen al control humano. Xi ha reclamado que la IA permanezca siempre bajo control humano, y las directrices para agentes publicadas en mayo de 2026 exigen mecanismos para detectar, intervenir y bloquear comportamientos inadecuados. Sería, por tanto, inexacto presentar a Pekín como indiferente ante los riesgos que señala Amodei.

La dificultad está en convertir esa preocupación en límites compartidos. Reconocer el peligro no equivale a aceptar una ralentización que pueda perjudicar la posición propia. Y esa tensión también se observa en las empresas estadounidenses. Washington quiere preservar o incluso aumentar su ventaja y Pekín tiene razones para querer reducirla. Sin embargo, ese interés común en evitar una pérdida de control sobre la IA podría abrir espacio para acuerdos concretos de seguridad, por mucho que la rivalidad siga dificultando un pacto que implique una desaceleración de los avances tecnológicos. La pregunta es qué restricciones estarían ambos dispuestos a aceptar cuando proteger la seguridad tuviera un coste estratégico. Porque también aquí cada uno puede convertir el avance del otro en una justificación para acelerar y acabar incrementando el riesgo para todos.

Mientras tanto, en la Unión Europea tenemos una capacidad limitada para frenar el ritmo de esta carrera. Necesitamos preguntarnos cómo convertir los principios que nos distinguen en una capacidad efectiva para intervenir en las decisiones sobre unos riesgos de los que Europa no puede quedarse al margen. Nuestra capacidad regulatoria y el atractivo de nuestro mercado nos dan alguna influencia, pero también debemos ser conscientes de que regular el acceso al mercado europeo no equivale a decidir a qué velocidad avanzan los principales laboratorios estadounidenses y chinos. 

Incluso si hubiera voluntad de acuerdo, quedarían preguntas difíciles. ¿Cómo comprobar el cumplimiento sin revelar secretos industriales o militares? ¿Quién tendría autoridad para detener un entrenamiento? ¿Qué ocurriría con los desarrollos clandestinos? El acceso de evaluadores independientes puede mejorar el conocimiento de lo que sucede dentro de una empresa, pero conocer un incumplimiento y tener poder para corregirlo son capacidades distintas. La arquitectura institucional tendría que resolver ambas.

Aunque la gran pregunta, al menos por el momento, sigue siendo quién frena primero en una carrera que nadie quiere perder.

Algunas voces dicen que solo un desastre nos hará reaccionar. La historia ofrece demasiados casos en los que una catástrofe consigue la atención que no lograron las advertencias. El problema es que nadie garantiza que después conservemos suficiente capacidad para corregir el rumbo, ni que el resultado vaya a ser cooperación en lugar de acusaciones, secretismo y más rivalidad. 

El ensayo de Amodei debería servir para desplazar la conversación hacia compromisos sobre qué están dispuestos a dejar de hacer quienes piden ralentizar, qué controles aceptarán cuando el evaluador cuestione sus decisiones y qué participación tendrán las sociedades que soportarán las consecuencias. Después de tantos llamamientos, cuesta creer que lo que falte sea otro texto, carta, manifiesto o declaración convincente. Para recuperar la confianza de la sociedad, sus promotores deberán tomar o aceptar decisiones que limiten de verdad su poder, aun cuando eso les cueste oportunidades de negocio o una ventaja estratégica. Mientras no veamos esos sacrificios, seguiremos teniendo buenos motivos para leer sus advertencias con atención y sus promesas con recelo.

Referencias

Acemoglu, D., Autor, D., & Johnson, S. (2026, 23 de febrero). Building pro-worker AI. Brookings. https://www.brookings.edu/articles/building-pro-worker-ai/

Amodei, D. (2026, septiembre). We must pace the frontier. https://darioamodei.com/post/we-must-pace-the-frontier

Baptista, E., & Chen, L. (2026, 14 de septiembre). How China is preparing for the risk of AI escaping human control. Reuters. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Center for AI Safety. (2023, 30 de mayo). Statement on AI risk. https://safe.ai/work/statement-on-ai-extinction-risk

CNBC Tech. (2026, 11 de septiembre). Trump dismisses AI extinction risks as more than a dozen OpenAI, Anthropic insiders call for a slowdown [Reproducido en aVenture]. CNBC. https://aventure.vc/news/2026-09-11-trump-dismisses-ai-extinction-risks-as-more-than-a-dozen-openai-anthropic-insiders-call-for-a-slowdown

Coxon, J. [@hilbertspaess]. (2026, 9 de septiembre). I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither [Post]. X. https://x.com/hilbertspaess/status/2097476196791709843

Future of Life Institute. (2023, 22 de marzo). Pause giant AI experiments: An open letter. https://futureoflife.org/open-letter/pause-giant-ai-experiments/

Gates, B. (2026, 26 de agosto). The turbulent AI era is here. The choices we make now are critical. Gates Notes. https://www.gatesnotes.com/a-turbulent-ai-era-and-critical-choices-to-make

Heath, R. (2023, 22 de septiembre). The great AI “pause” that wasn’t. Axios. https://www.axios.com/2023/09/22/ai-letter-six-month-pause

León XIV. (2026, 15 de mayo). Magnifica humanitas [Carta encíclica]. La Santa Sede. https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html

Mijares Torres, M. P., & Lee, S. Y. (2026, 12 de septiembre). OpenAI’s Altman says no IPO in 2026, firm to prioritize safety. Bloomberg Law. https://news.bloomberglaw.com/capital-markets/openai-ipo-wont-happen-until-2027-sam-altman-tells-fortune

Narayan, J., Hu, K., Coulter, M., & Mukherjee, S. (2023, 5 de abril). Elon Musk and others urge AI pause, citing “risks to society”. Reuters. https://www.reuters.com/technology/musk-experts-urge-pause-training-ai-systems-that-can-outperform-gpt-4-2023-03-29/

Pacing the frontier. (2026, julio). https://www.pacingthefrontier.com/

Schaefer, K., Wallace, J., Zhang, A. H., Triolo, P., Chorzempa, M., Murphy, B., Danowski, M., Costigan, J., & Sun, C. (2026, 17 de marzo). Forum: Technology in China’s 15th Five-Year Plan. DigiChina, Stanford University. https://digichina.stanford.edu/work/forum-technology-in-chinas-15th-five-year-plan/

Shontell, A. (2026, 12 de septiembre). Exclusive: Sam Altman addresses AI doomsday fears in new interview. Fortune. https://fortune.com/2026/09/12/sam-altman-interview-ai-doomsday-safety-models-control-ipo-2027/

Suleyman, M., & Bhaskar, M. (2023). The coming wave: Technology, power, and the twenty-first century’s greatest dilemma. Crown.

We must act now: A statement on AI’s transformation of the economy. (2026, 13 de julio). https://www.wemustactnow.ai/

Whitelaw, K., & Fiegerman, S. (2026, 13 de septiembre). Amodei, Altman, Musk call for slowing AI model development. Bloomberg Law. https://news.bloomberglaw.com/antitrust/amodei-altman-musk-call-for-slowing-development-of-ai-models

Xi says China will take lead to foster AI, tech cooperation among BRICS countries. (2026, 13 de septiembre). CNBC. https://www.cnbc.com/2026/09/13/china-xi-ai-tech-brics.html

+++

Photo Isaac Maffeis in Unsplash