Expertos internacionales estudian los riesgos catastróficos de la IA

Para gestionar eficazmente los potenciales riesgos catastróficos de la IA, es fundamental comprender primero cuáles son los más urgentes de abordar, quiénes son los más vulnerables al riesgo y quién debe ser responsable de su mitigación. A ese objetivo se ha dedicado un nuevo estudio ‘Priorization of Risk from Artificial Intelligence’ realizado por el grupo interdisciplinar FutureTech del MIT y otras universidades, con la participación de 272 especialistas de 37 países.

Los expertos internacionales en IA examinaron 24 categorías de riesgo de IA que abarcaron múltiples dominios. Estos expertos de la industria de la IA, investigadores, académicos, agentes gubernamentales y sociedad civil de todo el mundo estimaron que los cinco daños más graves provendrían de:

• Capacidades peligrosas de la IA.
• Armas y ciberataques con inteligencia artificial.
• Dinámica competitiva.
• Centralización del poder.
• Creación y difusión de información falsa sofisticada

Los expertos, especializados en la evaluación de riesgos de las tecnologías de inteligencia artificial, consideraron que los sectores de información, finanzas y seguridad nacional son los más vulnerables ante cualquier riesgo. Entre los ejemplos concretos se incluyen el uso indebido deliberado de la IA por parte de humanos para piratear sistemas, diseñar armas biológicas o desplegar armas autónomas. Además, las capacidades avanzadas de la IA, como la auto-mejora recursiva, la autonomía y la persuasión, podrían causar daños masivos debido a su mal uso, su falta de alineación con los objetivos humanos, la centralización del poder u otros resultados no deseados.

Los riesgos catastróficos de la IA

Los expertos evaluaron cada riesgo bajo dos escenarios: «continuidad de las tendencias actuales» sin intervención adicional, y «medidas de mitigación pragmáticas», que reflejan la aplicación de intervenciones razonables y rentables. Bajo las tendencias actuales sin mitigación, los expertos consideraron que 18 de los 24 riesgos tienen una probabilidad superior al 10% de causar resultados catastróficos, definidos como más de un millón de muertes, más de 100 mil millones de dólares en pérdidas financieras o daños comparables. En un escenario donde se implementan medidas de mitigación pragmáticas, los expertos aún consideraron que cinco riesgos tienen una probabilidad superior al 10% de un resultado catastrófico.

Según los investigadores, estas probabilidades por riesgo no son independientes y no deben agruparse en una sola cifra global, ya que las categorías se superponen y los escenarios subyacentes pueden interactuar. En cualquier caso, destaca Neil Thompson, científico investigador principal de MIT Sloan y autor principal del estudio, la amplitud de los riesgos clasificados por encima del umbral del 10% apunta a un panorama general sumamente preocupante.

Los riesgos catastróficos de la IA superan todos los umbrales de tolerabilidad estándar

«Resulta sumamente preocupante que los expertos observen una probabilidad del 10% de resultados catastróficos en tantos ámbitos», afirma Thompson. «Si consideramos otros sectores tecnológicos consolidados, como la energía nuclear o la aviación, riesgos de ese nivel se considerarían intolerables. Estos hallazgos constituyen una llamada de atención para quienes desarrollan y gestionan la IA, a fin de garantizar que no se produzcan los peores escenarios».

Los expertos en IA que participaron en el estudio advirtieron que consecuencias menos graves también podrían transformar los negocios y la sociedad a medida que la IA se integre en sistemas críticos para la toma de decisiones. Algunos sectores se consideraron especialmente vulnerables, entre ellos Tecnologías de la Información, Finanzas y Seguros, Seguridad Nacional, Salud y Asistencia Social, y Servicios Educativos.

¿Quién es responsable de mitigar los efectos de la IA y quién sufrirá las peores consecuencias?

Si bien los expertos en IA asignaron la máxima responsabilidad para abordar los riesgos de la IA a los desarrolladores de IA de propósito general y a los actores de gobernanza —incluidos los reguladores, los líderes gubernamentales y los organismos de normalización—, señalaron que los usuarios de modelos de IA y el público en general serían quienes sufrirían las peores consecuencias de los daños de la IA, pero tendrían un poder limitado para mitigarlos.

«Lamentablemente, quienes están mejor posicionados para reducir los riesgos de la IA no son quienes tienen más probabilidades de sufrir las consecuencias», afirman los investigadores. «Dado que el desarrollo de la IA es altamente competitivo, los laboratorios y los gobiernos tienen pocos incentivos para ralentizar el proceso o invertir lo suficiente en seguridad. Por ello, podrían ser necesarias leyes, tratados y otros mecanismos de acción colectiva«.

¿Cómo se han determinado estos resultados?

Los investigadores llevaron a cabo un estudio de tres rondas a finales de 2025 con los expertos del estudio, entre los que se incluían investigadores de IA, asesores políticos, tecnólogos y especialistas en gobernanza. Todas las contribuciones de los expertos se recopilaron de forma anónima, se eliminaron los datos de identificación y se presentaron únicamente de forma agregada, lo que limitó la posibilidad de que los intereses individuales influyeran en los resultados. Ningún autor con intereses contrapuestos participó en el diseño ni en el análisis de los hallazgos.

Se solicitó a los expertos que evaluaran los riesgos en un horizonte de cinco años. Esto reflejaba un equilibrio entre estar lo suficientemente cerca como para que los expertos pudieran realizar evaluaciones fundamentadas en lugar de especular sobre futuros lejanos, y lo suficientemente lejos como para captar los riesgos que están surgiendo pero que aún no se han materializado por completo.

El nuevo estudio forma parte de la Iniciativa de Riesgos de IA del MIT (recordemos, el centro educativo tecnológico más prestigioso del mundo) un proyecto que desarrolla una infraestructura de conocimiento público para ayudar a la sociedad a comprender, priorizar y gestionar los riesgos derivados de la IA. Esto incluye el Repositorio de Riesgos de IA del MIT , una base de datos dinámica con más de 1700 riesgos de IA, y herramientas como el Rastreador de Incidentes de IA, que vincula los riesgos con más de 1400 incidentes, y el Mapa de Gobernanza de IA del MIT, que analiza la cobertura de riesgos en más de 1000 leyes, normas, políticas y otros documentos de gobernanza.

En conjunto, estos recursos ofrecen una gestión de riesgos de IA informada, coordinada y basada en evidencia en todo el ecosistema de la IA. El estudio no ha terminado y en la siguiente fase de la investigación, el equipo analizará documentos públicos de desarrolladores de IA influyentes y grandes empresas para examinar si las organizaciones están respondiendo a los riesgos de la IA y si sus respuestas son proporcionales al nivel de preocupación que han expresado los expertos.

El estudio de los riesgos catastróficos de la IA debería servir para limitar su llegada. El desarrollo de las tecnologías de IA está ‘en pañales’ a pesar de los enormes avances y el mundo debe prepararse para lo que está por llegar en próximas fases. La automejora recursiva de la IA está en marcha y se teme que la IA quede fuera de cualquier control humano, algo que ya ha sucedido puntualmente en materia de ciberseguridad puntualmente con modelos avanzados de Anthropic.