Un fichaje en Anthropic reabre el debate incómodo: ¿qué riesgo de extinción es "aceptable"?

Los hechos, según lo publicado: Anthropic —uno de los laboratorios punteros en seguridad de IA— habría incorporado a un economista al que se atribuye la afirmación de que una probabilidad de un 33% de extinción humana sería un riesgo "aceptable" a cambio de los beneficios esperados de la tecnología. Conviene subrayar el condicional: es una declaración que se le atribuye y un razonamiento de coste-beneficio, no una política anunciada por la empresa ni una predicción verificada.

El contexto importa. En los círculos del llamado riesgo existencial es habitual razonar con apuestas: comparar la magnitud de un mal extremo (la extinción) contra beneficios igualmente enormes (curar enfermedades, abundancia material). El problema no es hacer ese cálculo —es legítimo y hasta necesario ponerle números a lo que está en juego—, sino la facilidad con que una cifra como "un tercio" se desliza de ejercicio intelectual a umbral moral. Un 33% no es un decimal en una hoja de cálculo: es una de cada tres líneas temporales en las que no hay nadie para disfrutar de los beneficios.

El impacto real es de encuadre y de gobernanza. Que una empresa cuya marca es precisamente la prudencia tenga voces internas dispuestas a tolerar riesgos así de altos no es necesariamente una contradicción —puede ser sano que el debate viva dentro de la casa—, pero ilustra una tensión que no se resuelve sola: quién fija el umbral aceptable, con qué legitimidad y rindiendo cuentas ante quién. Nadie ha votado ese 33%, y sin embargo afectaría a toda la humanidad.

Nuestra lectura: este episodio es exactamente el tipo de incomodidad de corto plazo que no hay que edulcorar. Seguimos convencidos de que, en el largo plazo, la IA puede llevarnos a erradicar enfermedades y a una abundancia que libere a las personas para dedicarse a lo que les apasiona. Pero ese horizonte no justifica normalizar apuestas a la ruina. La conclusión optimista madura es la contraria: precisamente porque el premio es tan grande, el deber de minimizar el riesgo de catástrofe es mayor, no menor. La gobernanza de la IA no puede descansar en el criterio privado de quien razone que un tercio de probabilidad de extinción "sale a cuenta"; tiene que basarse en evidencia, transparencia y decisiones que rindan cuentas más allá de los muros de un laboratorio. Que el debate sea público —aunque arranque de un titular provocador— es, en sí mismo, una buena noticia.