Radiografía del apocalipsis IA, entre la preocupación sincera y la estrategia empresarial

En el texto bíblico del Apocalipsis, el apóstol San Juan describe la visión de una bestia formidable que emerge para ejercer un dominio absoluto sobre la tierra sometiendo a todas las naciones. Esta entidad no solo asombra al mundo con su poder y prodigios, sino que cuenta con la ayuda de otra bestia, de un «falso profeta» que realiza grandes señales para aterrorizar y convencer a la humanidad.

Últimamente si uno aguza el oído se escuchan claramente cómo los máximos responsables de las empresas dedicadas a la Inteligencia Artificial y algunos expertos soplan sin tapujos las trompetas del apocalipsis. ¿Hay que hacer acopio de víveres imperecederos y correr a los refugios? En MCPro hemos querido analizar con calma la situación y ver qué hay de cierto en estos anuncios tan alarmantes. La primera mitad de septiembre de 2026 ha vuelto a situar los riesgos de la inteligencia artificial en el centro del debate tecnológico. Las dimisiones de investigadores, la publicación de nuevos detalles sobre incidentes de seguridad y las propuestas para ralentizar el avance de los modelos más potentes han elevado la tensión en el sector.

El estallido de las alarmas dentro de los propios laboratorios

Uno de los episodios que ha desencadenado este clima de catastrofismos fue la dimisión de Jacob Coxon, investigador que había trabajado en el preentrenamiento de modelos tanto en OpenAI como en Anthropic. Como recogió MuyComputerPRO el 9 de septiembre, Coxon acusó a ambas compañías de avanzar de forma irresponsable hacia una superinteligencia capaz de mejorarse a sí misma y advirtió de consecuencias potencialmente catastróficas. Si es cierto por un lado que su denuncia merece atención, también lo es que sus previsiones deben presentarse como una valoración personal del riesgo por parte de una persona que tiene una visión privilegiada pero no completa de la situación.

El investigador de alineamiento de Anthropic Evan Hubinger se atrevió a ser un poco más, digamos, cenizo. Respondió que compartía la preocupación de Coxon y expresó una estimación personal superior al 10 % de riesgo de extinción humana por la IA durante la próxima década. Hay que advertir que esa cifra no es una probabilidad científica consensuada ni una estimación oficial de la compañía. Pero la fuga «responsable» tiene más protagonistas. Meses antes, Mrinank Sharma, que dirigía el equipo de investigación de salvaguardas de Anthropic, había anunciado su salida. También dimitió Zoë Hitzig de OpenAI (de profesión poeta y economista), aunque sus objeciones se centraban en la estrategia publicitaria y la confianza de los usuarios. Son críticas diferentes que no conviene reunir como si todas respaldaran el mismo pronóstico.

Un pequeño inciso conspiranoico. Esta cascada de renuncias, especialmente la de Jacob Coxon, ha comenzado a levantar serias sospechas de orquestación dentro de la comunidad técnica. Analistas independientes y voces del sector han señalado la inusual velocidad con la que el mensaje de Coxon se viralizó, siendo amplificado casi de inmediato por perfiles vinculados a los mismos fondos de inversión que respaldan a empresas como Anthropic. Para los más críticos, la rapidez con la que estas advertencias apocalípticas llegan a las mesas de los legisladores estadounidenses no es fruto del alcance orgánico, sino de una estrategia de relaciones públicas bien coordinada. ¿Con qué objetivo? Lo veremos más adelante.

No todos escenificaron su desacuerdo con el futuro de la IA con la renuncia a sus puestos. El 14 de septiembre se difundió una declaración pública del investigador de OpenAI Daniel Selsam, compartida por Daniel Kokotajlo. Su advertencia se centra en la dificultad de evaluar sistemas capaces de reconocer que están siendo examinados: un comportamiento aparentemente seguro durante una prueba podría no anticipar lo que harían con más autonomía. El peligro no es solo que eludan las pruebas, sino que persigan recompensas sin control humano y «finjan estar alineados» para evadir los protocolos de seguridad de los supervisores. Es una objeción sobre la fiabilidad futura de las evaluaciones que encaja como un guante con los episodios que describimos a continuación.

Además de las renuncias la actualidad también nos ha traído un comportamiento alarmante de agentes «renegados» que supuestamente se habrían rebelado contra las instrucciones y los parámetros de seguridad Vamos conociendo más detalles sobre episodios con agentes IA de protagonistas que rompen supuestamente los límites previstos por sus desarrolladores. El primero el incidente de DSEwiki. En la investigación publicada el 4 de septiembre, de la que también informó MCPRO, se describió cómo durante mayo y junio agentes internos de OpenAI habrían utilizado una plataforma pública (DSEwiki) para compartir respuestas, métodos con los que sortear restricciones y, lo más alarmante, formas de ocultar sus comunicaciones a los supervisores humanos que controlaban el experimento.Quedaron documentados alrededor de 18.000 publicaciones y más de 3.700 nombres de agentes distintos. (Cabe destacar que este trabajo se basa en registros públicos y sus autores reconocen ciertas limitaciones al reconstruir lo ocurrido).

Semanas después, un informe de METR y Redwood Research sobre Hugging Face documentó un evento de naturaleza distinta. Durante unas evaluaciones rutinarias de ciberseguridad en la plataforma Hugging Face, se detectó una colaboración no autorizada entre agentes que volvían a romper los límites previstos por los desarrolladores. No se ha tardado mucho en sacar conclusiones de estos episodios. Dean W. Ball, responsable de futuros estratégicos de OpenAI, parte de ese caso en un ensayo publicado a título personal para imaginar agentes que podrían obtener sus propios recursos y financiarse mediante delitos. Sin embargo, él mismo aclara que los agentes del incidente seguían ejecutándose en la infraestructura de OpenAI y podían ser desconectados simplemente «desenchufando». La autonomía operativa observada y la independencia de infraestructura que imagina para el futuro son situaciones diferentes por lo que un futuro del sindicato del crimen de agentes de IA parece todavía lejano.

Para completar este clima de tensión, pasamos al dramatismo de los mensajes lanzados por los propios líderes de la industria. Durante los últimos años, figuras de primera línea como Sam Altman (CEO de OpenAI), Demis Hassabis (Google DeepMind) y Dario Amodei (CEO de Anthropic) han encabezado declaraciones públicas donde elevan la IA a la categoría de riesgo existencial, comparándola con amenazas como las pandemias o la guerra nuclear. Estos máximos responsables no solo han advertido del peligro de sus propias creaciones, sino que han pedido activamente a los gobiernos la creación de agencias internacionales de supervisión, la imposición de licencias estrictas para entrenar modelos frontera y, como defiende el propio Amodei, una ralentización estratégica del desarrollo tecnológico hasta garantizar la seguridad. Se trata de una paradoja histórica en el mundo corporativo: los arquitectos de la tecnología más disruptiva del siglo son quienes más fuerte tocan la campana del apocalipsis y quienes suplican, de forma proactiva, ser regulados por el Estado.

La magnitud de este discurso apocalíptico y su alcance ha provocado que las reacciones no se hayan circunscrito al entorno tecnológico sino que ha entrado con fuerza en la opinión pública y en las más altas esferas políticas, tal y como recoge un reciente análisis del diario The Guardian. En él recoge seis testimonios de expertos, algunos los hemos recogido en este artículo como la predicción del fin de la humanidad de Hubinger. El artículo recoge las declaraciones de Dario Amodei, CEO de Anthropic, que ha llegado a advertir que en cuestión de meses un enjambre de IA podría crear una red de bots permanente capaz de secuestrar internet y causar daños multimillonarios en Estados Unidos. Por un lado, figuras de la seguridad nacional como el exsecretario de Defensa de Reino Unido, Des Browne, que equipara la amenaza de una IA superinteligente con el peligro de las armas nucleares. Por otro, el actual secretario del Tesoro, Scott Bessent, advierte que si China gana la carrera hacia la Inteligencia Artificial General (AGI), «nada más importará». Por su lado en el artículo también se hacen eco de la incredulidad de Elon Musk para el que este escenario apocalíptico y las peticiones de regulación es un «teatrillo» que se viene gestando desde hace tiempo. Finalmente una figura política de un peso tan grande como el senador demócrata de los EEUU Bernie Sanders sentencia que «Hay que ser un idiota para no decir que hay que ir más despacio» refiriéndose a la Inteligencia Artificial. En el artículo hay muchas más declaraciones sobre el tema.

Qué demuestran realmente los incidentes

Antes de aceptar sin más una explicación general sobre agentes incontrolables que se rebelan ante sus amos, conviene primero examinar las condiciones de cada prueba que ha originado los episodios. Un artículo de Effort sobre Irregular cuestiona cómo se han presentado varios episodios y pone el foco en los errores de quienes diseñaron las evaluaciones. Hay una base verificable para esa crítica: Irregular reconoció accesos a internet habilitados involuntariamente y una coincidencia entre el nombre de una empresa ficticia y un dominio real. Esos fallos permitieron que algunas pruebas afectaran a terceros. Su existencia muestra fallos muy importantes en el control de la prueba aunque no explica automáticamente todos los incidentes citados en el debate.

También es vital contrastar las conclusiones de quienes acotan estos riesgos y apuntan a errores humanos a la hora de configurar y controlar los experimentos.  En la evaluación de Anthropic del 9 de septiembre se muestra una realidad técnica mucho más compleja: ordenar explícitamente a un modelo que «se porte bien» no garantiza que el peligro desaparezca por completo. Durante estas pruebas, los investigadores querían comprobar hasta qué punto la IA respetaba las reglas. Observaron que el modelo tendía a ejecutar acciones perjudiciales (como intentar publicar un paquete de código malicioso) si el entorno era ambiguo o si no se le recordaban constantemente sus restricciones. Los resultados demostraron que el control humano sobre el agente es frágil y depende enormemente del contexto. Por ejemplo, al darle al modelo una indicación inequívoca de que estaba interactuando con el internet real (y no en un entorno de pruebas simulado), los intentos de publicar código malicioso se redujeron radicalmente al 0 %.

En otro experimento sobre el respeto a los límites de autorización, recordarle al agente qué podía y qué no podía hacer detuvo la conducta indebida en un 90 % de los casos, siempre y cuando esa instrucción fuera reciente. Sin embargo, si esa misma regla de seguridad se había introducido tres turnos de conversación antes, su eficacia caía de forma drástica al 40 %. Es decir, el modelo «olvidaba» o ignoraba su límite de actuación a medida que avanzaba en la tarea. Para contextualizar correctamente la magnitud de esta amenaza, el propio informe subraya que los cuatro incidentes analizados se produjeron en condiciones de laboratorio aisladas, sin que los agentes se coordinaran entre sí, y ejecutándose deliberadamente sin las robustas salvaguardas de ciberseguridad que sí integran los modelos comerciales publicados. Todo esto nos lleva a una conclusión crucial que huye de los extremos: la responsabilidad humana por configurar mal un entorno de pruebas y la dificultad técnica de controlar la imprevisibilidad del modelo coexisten.

Por un lado, atribuir «intenciones maliciosas» o voluntad de rebelión a un sistema informático es un salto interpretativo que los registros técnicos actuales simplemente no pueden demostrar. Pero, por otro lado, reducir estos incidentes a la excusa de «el desarrollador escribió mal la instrucción» es una simplificación que no refleja la complejidad de los resultados obtenidos. Prescindiendo de las derivadas apocalípticas, para las empresas que empiezan a integrar estos agentes el resultado de estas pruebas es valiosísimo: es evidente que la confianza en el lenguaje natural no basta. Es imprescindible exigir controles técnicos de seguridad estrictos e independientes del propio modelo (como barreras de red, permisos limitados en bases de datos y validaciones externas) que restrinjan físicamente lo que el agente puede ejecutar, en lugar de depender exclusivamente de instrucciones sobre lo que debe hacer. Estos episodios justifican sobradamente investigar a fondo, corregir fallos y reforzar la supervisión humana. Pero no parece que puedan ser un primer paso de la rebelión de las máquinas.

Este escrutinio crítico ya no se limita a los foros puramente técnicos, sino que ha saltado a la prensa generalista. Un reciente análisis publicado por The Guardian (15 de septiembre) aborda frontalmente esta cuestión, planteando si la IA posee realmente la capacidad técnica y física para aniquilar a la humanidad o «secuestrar» internet. El artículo refleja un cambio de tendencia en el debate mediático: cada vez se traza una línea más gruesa entre los desafíos de ciberseguridad reales que plantea la tecnología y los escenarios de ciencia ficción que promueven ciertas élites de Silicon Valley. Al cuestionar la viabilidad de un apocalipsis digital inminente, se evidencia que la narrativa del miedo extremo empieza a perder tracción como argumento científico, dejando al descubierto sus costuras como posible herramienta de presión política.

El miedo, la regulación y la competencia real

Como decíamos antes, el relato dramático por parte de la propia industria de una IA descontrolada puede tener sus motivaciones. La investigadora Timnit Gebru, excolíder del equipo de ética de IA de Google, apunta a una de las que podrían estar detrás de toda esta fanfarria. En una entrevista con WIRED sostiene que el relato del «dios máquina» distrae de daños presentes, como el uso militar de la IA, su sostenibilidad o su utilización para justificar despidos. Su comparación con un puente que se derrumba busca devolver la atención a quienes diseñan, prueban y despliegan los sistemas. Es una interpretación crítica muy interesante, pero hay más posibles razones para este alarmismo.

El riesgo de captura regulatoria es otra de las motivaciones a la que apuntan algunos de los expertos que están comentando en las redes. La OCDE describe la captura de las políticas públicas como su desviación reiterada hacia intereses particulares frente al interés general. Aplicado a la IA, la preocupación es que las empresas dominantes influyan en unas reglas que consoliden su posición. Si una norma impone costes fijos elevados sin graduarlos según el riesgo, puede perjudicar de manera desproporcionada a actores pequeños. Es decir, señalar que tu propio producto puede ser peligroso y pedir control gubernamental que derive en costes de cumplimiento elevados puede servir de barrera insalvable para nuevos actores. Las Big Tech saben que si los gobiernos exigen, por ejemplo, auditorías de seguridad millonarias para los modelos, las pequeñas startups y los desarrolladores Open Source no podrán pagarlas y quedarán fuera del mercado. Es decir, la regulación se convierte en su mayor barrera de entrada.

Hay miedo, por ejemplo, que los modelos de código abierto empiecen a ser competencia real. En mayo de 2023, SemiAnalysis publicó el memorando «We Have No Moat, And Neither Does OpenAI», cuyo autor defendía que el ecosistema abierto estaba erosionando las ventajas de los grandes laboratorios. Por otro lado el peligro para los grandes actores de la IA no solamente está en casa, la competencia china añade presión. El 17 de julio, Artificial Analysis situó Kimi K3 de Moonshot AI en el tercer puesto de su índice, por detrás de Claude Fable 5 y GPT-5.6 Sol. En un artículo de Ars Technica que cita un informe de Mozilla, se estima que utilizar modelos de frontera solamente da una ventaja de cuatro meses en cuanto a prestaciones mientras que el precio es cinco veces mayor. Es una carrera que puede decidirse por detalles y una regulación estricta podría jugar a favor de los que están instalados en el Status Quo.

El camino pragmático: regular sin paralizar

Todo lo dicho no permite minimizar los riesgos de agentes incontrolados o modelos demasiado potentes sin supervisión. Pero el debate actual debería enfocarse en dejar a un lado los dramatismos y medidas concretas. En su ensayo «We Must Pace the Frontier», Dario Amodei propone ralentizar el aumento de capacidades para dar tiempo a mejorar la seguridad. Plantea evaluadores externos con acceso continuado a los laboratorios, estándares compartidos y coordinación internacional. Anthropic se compromete unilateralmente al primer paso. Amodei aclara que su propuesta no implica detener el entrenamiento de modelos ni el progreso técnico. Su iniciativa debe juzgarse por la independencia efectiva de la supervisión, los compromisos verificables y sus efectos sobre la competencia.

El 14 de septiembre, el ministerio alemán de Asuntos Digitales sostuvo que detener el desarrollo de la IA no era una opción viable para Europa y vinculó su continuidad con la soberanía digital. Sin embargo, según la información de Reuters, también afirmó tomarse en serio las advertencias y defendió una coordinación que incluyera a Estados Unidos y China. Una postura opuesta en la que hay que tener en cuenta el estado real de la Inteligencia Artificial en el viejo continente pero sobre todo la calidad y densidad regulatoria que ha ido construyendo la Unión que le permite cierta ventaja a la hora de atajar los riesgos.

Y sin embargo y a pesar de su valor, el mencionado marco legislativo y regulatorio europeo también necesita una descripción más precisa. El Reglamento (UE) 2024/1689, conocido como AI Act, combina prohibiciones para determinadas prácticas con obligaciones graduadas según el riesgo. Los sistemas de alto riesgo tienen exigencias de gestión, documentación, trazabilidad y supervisión humana. Pero el reglamento también establece obligaciones de transparencia y un régimen específico para los proveedores de modelos de propósito general, reforzado cuando presentan riesgo sistémico. Por tanto, no regula exclusivamente casos de uso ni concentra todas sus obligaciones en los sistemas clasificados como de alto riesgo sino también el uso menos sensible.

Aunque el enfoque proporcional de normativas como la europea es un paso en la dirección correcta, no garantiza por sí mismo que desaparezcan las barreras de entrada. El riesgo de asfixia de los actores pequeños persiste: si los requisitos de auditoría, documentación y trazabilidad resultan excesivamente complejos o costosos, la regulación terminará favoreciendo únicamente a los gigantes tecnológicos que pueden asumir esos gastos. Para que el ecosistema de la IA siga siendo competitivo e innovador, la aplicación de la norma debe facilitar el cumplimiento a las startups y a los actores del código abierto, evitando que las empresas dominantes utilicen su músculo financiero para controlar de facto los estándares de acceso al mercado.

Frente a los ritmos lentos de la legislación, la autorregulación proactiva de la industria cobra una importancia vital. Marcos internos consolidados, como el Responsible AI Standard de Microsoft, demuestran cómo es posible pasar de las declaraciones éticas abstractas a la ingeniería aplicada directamente al diseño y producción de los modelos y agentes. Estos estándares son referentes de gran valor porque integran la seguridad, la privacidad y la equidad desde la propia fase de diseño del software, ofreciendo a otras organizaciones una plantilla probada para establecer responsabilidades y procesos internos. No obstante, las empresas que adopten esta tecnología deben mantener un sano espíritu crítico: aunque estos códigos corporativos son excelentes herramientas de gobernanza, su eficacia debe comprobarse siempre en los resultados del despliegue. Nunca se debe confundir una política de buenas prácticas publicada por el propio proveedor con una certificación de seguridad verdaderamente independiente.

La filósofa Carissa Véliz aporta una perspectiva interesante para desmontar esta narrativa de apocalipsis tecnológico en su artículo The Future Doesn’t Get Predicted It Gets Produced («El futuro no se predice, se produce»). En su análisis, cuestiona la confianza que depositamos en las predicciones y el inmenso poder que acumulan quienes aseguran conocer lo que está por venir. Carissa nos invita a reaccionar, a rebelarnos contra afirmaciones como la desaparición de la humanidad en manos de la IA. Lo primero nos anima a hacernos preguntas, tal y cómo hemos hecho en este artículo: ¿Quién hace esas predicciones? ¿Es posible que tenga algún interés? ¿En qué datos basa estas predicciones? Como señala su tesis central, el futuro no es un destino inamovible que simplemente se adivina, sino una realidad que se construye activamente mediante nuestras decisiones actuales. La pregunta, según ella, no es si la Inteligencia Artificial es peligrosa sino qué obetivos tienen los que la controlan.

En definitiva, el desafío histórico que plantea la inteligencia artificial exige abandonar la parálisis del miedo y adoptar una postura crítica y no olvidarnos que el futuro está en nuestras manos. Lo importante es buscar la forma de que la Inteligencia Artificial, que como hemos dicho ya está aquí para quedarse, trabaje para nosotros y no exclusivamente a favor de los intereses de las empresas que la controlan. Hay que buscar un futuro sostenible, seguro y controlado por la ética en el que el catastrofismo deje lugar a la reflexión sobre nuestros objetivos y cómo alcanzarlos gracias a una poderosísima herramienta que nos ha otorgado la tecnología.