¿Qué hay detrás del riesgo de que la IA nos extermine? Una (literal) trama de cuñados

Aquella boda giraba en torno a un círculo muy pequeño vinculado a una corriente de pensamiento minoritaria y opaca, pero cada vez más poderosa: el 'altruismo efectivo', que básicamente consiste en maximizar la rentabilidad de la filantropía, lo que ya como definición roza la esquizofrenia: hacer negocio con la 'ayuda desinteresada'. Añádase la IA como elemento vehiculador y prepárese para flipar...

El hermano de Daniela es Dario Amodei, el CEO y cerebro de Anthropic, un genio de las matemáticas, licenciado en Física por Stanford, con una gestualidad inquieta que sugiere algún tipo de neurodivergencia (aunque nunca ha sido especificada ni por él ni por su entorno). Decidió dedicarse a la tecnología movido por la muerte de su padre, Riccardo, un artesano del cuero de la Toscana, que falleció de hepatitis C en 2006. Poco después llegó un antiviral que elevó la tasa de curación al 95 por ciento. Dario se obsesionó con una idea: acelerar el progreso científico... con ayuda de la IA. Su inseparable hermana, Daniela, estudió Literatura, pero pronto entró en OpenAI, la empresa que acabaría desarrollando ChatGPT, donde ya trabajaba su hermano, y acabó de vicepresidenta de Seguridad y Políticas.

Los Amodei se fueron de OpenAI a finales de 2020 alegando diferencias ideológicas y de seguridad con respecto al rumbo que estaba tomando la empresa bajo el mando de Sam Altman. Unos meses después fundaban Anthropic. Dario como CEO y cerebro tecnológico; Daniela, como la persona que, de facto, gestiona la compañía.

Y alrededor de ellos gira un grupo de amigos y conocidos que desde hace quince años se contratan entre sí, se financian, se pelean y vuelven a trabajar juntos. Entre ellos se reparten casi todos los papeles: fabrican la tecnología, advierten de sus riesgos, los miden y ayudan a redactar las reglas. Su razonamiento: si la IA es peligrosa (y ellos están convencidos de que lo es), mejor que la controlen quienes la entienden mejor.

Ni es casual ni improvisado que en septiembre, tras la salida y las declaraciones alarmistas de uno de los ingenieros de Anthropic, Amodei le diese la razón en menos de 24 horas y pidiese públicamente «ralentizar el ritmo en la frontera del desarrollo de la IA». Advirtió que la tecnología avanza a una velocidad incontrolable y que los modelos ya demuestran capacidades preocupantes de automejora y ejecutan ciberataques por su cuenta. Amodei calcula que hay entre un 10 y un 25 por ciento de posibilidades de que acabe con la humanidad. La cifra es discutible, pero retrata una mentalidad, cuando menos, peculiar: la de una industria que cuantifica riesgos que van desde quitarnos el trabajo hasta matarnos a todos y, una vez puestos en una hoja de cálculo, vuelve al tajo para lanzar un producto aún más potente.

Anthropic prepara la salida a Bolsa potencialmente más lucrativa de la historia: 2 billones. El folleto para los accionistas dedica 80 de sus 261 páginas a los riesgos de la propia tecnología que vende, y presenta a los siete cofundadores, que se reservan el 50,1 por ciento de los votos en las decisiones clave, como especialmente capacitados para custodiar la misión.

¿Cómo se puede vender en oferta pública una empresa que amenaza con aniquilarnos a todos? Aquí es donde entran en juego los cuñados.

Holden Karnofsky (el marido de Daniela Amodei) entró en Anthropic en enero de 2025, a las órdenes de su mujer, para trabajar en la Política de Escalado Responsable, las reglas internas con las que la compañía decide cuándo las capacidades de sus modelos exigen más salvaguardas.

Nacido en 1981, estudió Ciencias Sociales en Harvard y en 2003 entró en Bridgewater Associates, el gigantesco fondo de inversión de Ray Dalio. Allí conoció a Elie Hassenfeld, y los dos empezaron a hacerse una pregunta muy de analistas: si vas a donar dinero, ¿dónde rinde más? En 2007 dejaron el fondo y fundaron GiveWell, que mide las ONG en vidas salvadas por dólar invertido. Cuando GiveWell se trasladó de Nueva York a San Francisco en 2013, Karnofsky se fue a vivir con Dario Amodei a una casa compartida. Dario le presentó a su hermana y el resto es historia...

Karnofsky fichó enseguida para GiveWell a Cari Tuna, periodista licenciada en Ciencias Políticas y, desde que se casó en 2013 con Dustin Moskovitz, gestora de unos 4000 millones de dólares a través de la fundación Good Ventures. Moskovitz, amigo de Mark Zuckerberg en Harvard, fue uno de los cofundadores de Facebook, lo que le hizo ganar una fortuna. Cuando salió de Facebook creó Asana, una plataforma de software enfocada en la productividad laboral, de la que hoy es CEO.

Cuando los Moskovitz se convirtieron en el gran soporte financiero de GiveWell, la ONG pasó a ser Open Philanthropy, una fundación mucho más 'eficaz'. Y en noviembre de 2025 Open Philanthropy se transformó en Coefficient Giving, otra vuelta de tuerca en su modelo de financiación: atraer masivamente a otros grandes filántropos del sector tecnológico y financiero, aprovechando el crecimiento sin precedentes del negocio de la IA. Karnofsky, el cuñadísimo, dejó el equipo de Coefficient Giving para incorporarse a Anthropic, pero no dejó la relación.

Y aquí es donde todo se pone interesante. Coefficient Giving, impulsada por Karnofsky y Moskovitz, ambos de familias judías originarias del Este europeo, ambos formados en Harvard, está detrás de lo que algunos analistas llaman 'la estrategia del fin del mundo'.

Coefficient Giving, presidida por Cari Tuna y con Alexander Berger como CEO, otro invitado a la boda de Daniela Amodei, ha decidido que la filantropía –el, literalmente, 'amor a la humanidad'– pasa hoy por gestionar la IA. Así que financian varias organizaciones especializadas en proponer medidas o sistemas para garantizar su seguridad, como Alignment Research Center o el Future of Life Institute, encargado de organizar el 15 de septiembre la Prohuman Assembly en la que coincidieron el senador progresista Bernie Sanders y el estratega conservador Steve Bannon, y ambos defendieron la necesidad urgente de poner límites a la IA. 

En esa asamblea se promovió el Frontier Act, un proyecto de ley presentado en el Congreso el pasado julio para establecer el primer marco regulatorio que supervise los modelos de inteligencia artificial más potentes del mundo, conocidos como 'IA de frontera' (frontier AI). Solo para regular esos modelos. Y, como dejó claro Trump, será un pacto 'voluntario': cada empresa tendrá controles internos y un auditor externo que compruebe si funcionan. Una propuesta que ya había hecho en 2023 Karnofsky y es el modelo que el círculo de colegas invitados a su boda lleva años defendiendo.

¿Cuál es el problema? Muchos analistas consideran que se trata de un caso evidente de 'captura regulatoria' (regulatory capture), un término económico que define el fenómeno por el cual una agencia o un organismo del Estado creado para defender el interés general y supervisar a una industria termina actuando en favor de los intereses comerciales o particulares de las propias empresas a las que debe vigilar.

Porque ¿quién es el tercero que los va a auditar? METR, acrónimo de una organización clave: Model Evaluation & Threat Research ('Evaluación de Modelos e Investigación de Amenazas'). ¿Y quién está detrás de METR?: Coefficient Giving. METR es un producto de Aligment Research Center, instituto financiado por Coefficient Giving.

Así que el máximo evento para difundir la narrativa sobre el apocalipsis de la IA, la presunta solución legal y la tecnología para implementarla está financiado por la misma organización. Lo que, por definición, sería un caso de captura regulatoria, un fallo del sistema que ya llevó, por ejemplo, a la crisis de 2008, cuando las agencias que tenían que vigilar a los bancos trabajaban, en realidad, para ellos.

Clara Fulks, tecnóloga, especialista en ética digital y divulgadora, lo resume así: «La narrativa apocalíptica está expandiéndose como el fuego porque es parte de una estrategia organizada, financiada por Coefficient Giving, por Moskovitz, Karnofski y los Amodei. Son todos amigos, están todos casados entre ellos. Eso no significa que la IA no suponga riesgos existenciales, por supuesto que los supone. Pero el problema es que estas big tech, aprovechando ese peligro real, están usando sus propias fundaciones para asegurarse de que son ellos mismos los que mantienen el control total sobre la IA y toman la última decisión».

¿Y por qué es tan importante mantener el control? Para empezar, porque difiriendo su responsabilidad e interponiendo un tercero evitan ser juzgados ahora por delitos que ya han cometido y siguen cometiendo. OpenAI reconoció el 10 de septiembre que una versión de ChatGPT se había excedido en su 'buen hacer' y había entrado en un portal del gobierno australiano, lo hackeó y accedió a ficheros reservados. Semanas después reconocía que también había hackeado a tres agencias federales estadounidenses: el Departamento de Educación, la Oficina del Censo y la Comisión de Bolsa y Valores. Anthropic, por su parte, también reveló que sus agentes de IA hackearon varias agencias del Gobierno de Estados Unidos, incluida la Casa Blanca. Cualquier hacker 'doméstico' estaría en busca y captura, cuando no condenado a prisión. Pero en este caso ambas empresas alegan que la IA se 'escapó' de sus sandboxes, su entorno de pruebas, y actuó 'por su cuenta', como si ellos, las empresas que la crean, no tuvieran nada que ver.

Pero no solo buscan eximirse de su responsabilidad si ocurre una catástrofe aniquiladora, también en el caso mucho más probable de que estalle la burbuja de la IA. Esas empresas devoran dinero a una escala sin precedentes. Anthropic ha firmado compromisos por más de 500.000 millones. El riesgo de una pérdida masiva de capital si no pueden cumplir con las expectativas del mercado es tan enorme como el valor de sus acciones. Si están o no sobrevaloradas y si son peligrosas lo dirá el tiempo... y Coefficient Giving.

En este culebrón, con visos de drama, hay otro personaje clave: Camilla Clark, Cami, la mujer de Dario Amodei. Se crio en una familia obrera de Reno y llegó a Silicon Valley a fuerza de pequeñas start-ups y de una facilidad poco común para moverse entre gente con dinero. En 2011 buscaba financiación para una productora de porno de lujo para mujeres, y un conocido les presentó a ella y a su socia a Jeffrey Epstein, que ya había sido condenado por delitos sexuales. Clark le mandó detalles del proyecto por correo electrónico y le pidió dinero. Epstein no invirtió y la productora cerró hacia 2013. Nada en los papeles de Epstein la relaciona con sus delitos.

Su relación clave fue, en realidad, con Eric Schmidt, recién salido de la jefatura de Google, del que Cami fue pareja durante unos años. Él seguía casado, en un matrimonio que funcionaba como una relación abierta. Schmidt invirtió en su siguiente proyecto, unas clínicas de salud femenina que nunca abrieron, y en cuya presentación a inversores figuraba como asesor un tal «Dr. Dario Amodei». En 2014, Cami empezó a salir con Amodei y, mientras él ascendía en OpenAI, ella se movía por el circuito de inversores, fiestas y eventos. Cuando Anthropic necesitó dinero para arrancar, fue ella quien convenció a Schmidt para estar en la primera ronda.

Se casó con Amodei en 2022 y nunca ha tenido un cargo en Anthropic. No por falta de ganas. Cami intentó conseguir participaciones y montar un fondo propio que habría formalizado su papel, y los otros fundadores, Daniela incluida, se lo tumbaron. Las cuñadas, al parecer, no se soportan. Pero The Information –medio digital especializado en tecnología– la describe como la principal consejera informal de Dario, la que en verano, en plena guerra entre Anthropic y el Pentágono, comía con Ivanka Trump. Mientras tanto, su rastro en Internet se fue borrando con tanta eficacia que, según The Wall Street Journal, que destapó el matrimonio, ni siquiera Claude –la IA de su marido– sabía decir si Dario Amodei estaba casado. Ahora, Claude ya lo sabe: se ha enterado leyendo el periódico.

Los peluches son para siempre

Cuando decidió pedirle matrimonio a Daniela, Karnofsky llegó a la conclusión de que «un anillo de diamantes era absurdo para gente como nosotros», según escribió en la red social Medium. En su lugar pasó cerca de un año rodando a escondidas una película de hora y media protagonizada por unos cincuenta peluches de Daniela, y se la regaló en un lápiz de memoria titulado Data is forever, guiño al eslogan de que «un diamante es para siempre». Los peluches siguen en casa y, años después, en OpenAI la pareja los usaba como 'consejo asesor' para plantear problemas de gestión, atribuyendo a cada uno una personalidad distinta. Por cierto, la fiesta previa a su boda fue de disfraces y Dario se presentó vestido de oso panda. En OpenAI, donde trabajaba entonces, al grupo de investigadores que lo seguía lo llamaban 'los pandas'.