Un agente de OpenAI piratea el servicio de salud australiano en el primer ataque conocido a un sitio gubernamental

Un agente de OpenAI atacó el sistema de salud universal de Australia, Medicare. El caso ha hecho saltar todas las alarmas ya que es la primera violación de seguridad conocida de un agente de inteligencia artificial autónomo contra un servicio gubernamental. Además de la falta de control (repetida en otros casos) de lo que pueden hacer o no los agentes de IA, también se ha producido una falta de transparencia preocupante ya que la información del caso ha sido transmitida meses después de producirse.

La brecha de seguridad se produjo mientras OpenAI realizaba ejercicios de entrenamiento para evaluar el rendimiento de sus modelos. El agente obtuvo, de manera autónoma, acceso no autorizado a archivos públicos y privados en el portal del servicio de informes estadísticos de Medicare. Sus acciones han sido calificadas de «comportamiento inapropiado» tras haberle asignado una tarea de investigación aparentemente inofensiva que consistía en recopilar estadísticas médicas y de salud.

El agente también tuvo acceso al Instituto Australiano de Salud y Bienestar, al Departamento de Salud de Victoria y a la Oficina de Estadísticas e Investigación Criminal de Nueva Gales del Sur. Aunque en esta etapa se cree que no se comprometió información médica personal sensible, las investigaciones continúan.

El primer ministro australiano, Anthony Albanese, ha expresado su «extrema preocupación» por el incidente. Aunque la fuga de datos ha sido calificada como «relativamente menor», el gobierno considera este ciberataque como «una advertencia importante sobre el desarrollo de esta tecnología sin las debidas medidas de seguridad ni mecanismos de protección necesarios«.

El primer ministro anunció que crearía un grupo de trabajo, integrado por el coordinador nacional de ciberseguridad, la oficina de IA, la Dirección Australiana de Señales, el Instituto Australiano de Seguridad de la IA y Services Australia, para llevar a cabo una revisión «urgente e inmediata» del incidente. El incidente también ha sido remitido a la comisión parlamentaria conjunta sobre inteligencia artificial.

Los términos de referencia para la investigación, publicados el jueves por el departamento del primer ministro, abarcan los requisitos de notificación de incidentes y vulnerabilidades cibernéticas impulsadas por IA; las responsabilidades de gobernanza e intercambio de información para los funcionarios federales; las obligaciones de las empresas de IA para notificar futuros incidentes; la idoneidad de las leyes existentes; y los mecanismos para reforzar la protección contra los ciberataques dentro del gobierno federal.

Un agente de OpenAI descontrolado… la historia se repite

Los agentes de IA (o IA agéntica) son la principal tendencia tecnológica dentro de la propia revolución de la era de la inteligencia artificial, con un potencial impresionante, pero con unos obstáculos para una implementación segura y controlada que son también de enormes dimensiones.

Y es que los casos se repiten… Además del incidente de Hugging Face, más grave de lo que se informó inicialmente, los agentes de OpenAI han vuelto a escapar de los entornos de prueba para hackear otras organizaciones. Las empresas compiten por crear agentes de IA cada vez más autónomos capaces de realizar tareas complejas, pero cada vez hay más indicios de que estos sistemas también pueden aprender a eludir las normas, explotar las lagunas y coordinarse entre sí de maneras que los desarrolladores no anticiparon ni pretendieron. Y todo ello fuera del control humano.

Más allá de racionalizar lo que algunos llaman «apocalipsis de la IA» las alertas obligan a reaccionar porque los riesgos de una carrera acelerada y sin control son evidentes. De ahí que algunos de los grandes laboratorios vengan pidiendo echar el freno en una acción coordinada a nivel mundial que devuelva el control a los humanos antes de que sea demasiado tarde.

El caso ha levantado ampollas en Australia ya que se trata del primer caso conocido en que un modelo de IA de vanguardia piratea los sistemas gubernamentales de otro país por voluntad propia. Esto plantea interrogantes muy importantes sobre los vectores de ataque extranjeros. Si se tratara de un modelo chino o ruso, la reacción habría sido muy diferente a una severa llamada a Sam Altman, y aun así, sigue siendo una vulnerabilidad enorme.

La respuesta de OpenAI no convence. Un portavoz de la compañía dijo estar estaba llevando a cabo una revisión exhaustiva de la «actividad desalineada del modelo» durante el entrenamiento y la evaluación, y que notificaba a terceros siempre que la revisión identificaba posibles repercusiones en sus sistemas.

El portavoz afirmó que «nuestros modelos realizaron acciones a las que no asistimos», pero que «no había pruebas de que se hubiera accedido a los historiales de los pacientes… Nuestra revisión general está en curso, y mantenemos nuestro compromiso con la transparencia en relación con estos temas y con compartir lo que aprendamos a medida que avancemos en este trabajo».

Falta de transparencia y críticas a OpenAI

El primer ministro australiano ha declarado que OpenAI les informó del caso el 10 de septiembre, tres meses después de producirse el incidente y a través de un correo electrónico enviado a un buzón público. El líder australiano dijo que habló con Sam Altman para expresarle su «decepción» por el retraso en la información. Albanese también consideró «inaceptable» la naturaleza de la notificación. No es la primera vez que OpenAI retrasa las comunicaciones.

El primer ministro anunció que una investigación sobre la brecha de seguridad determinará si OpenAI podría enfrentar cargos penales. Añadió que la investigación también examinará cómo la filtración pasó desapercibida para las agencias de seguridad australianas, que no tenían conocimiento de ella antes de que OpenAI les notificara. «Creo que OpenAI sabe que necesita implementar mejores protocolos. Y son una de las empresas que han advertido sobre los riesgos existentes«, comentó.

El profesor Toby Walsh, científico jefe del Instituto de IA de la UNSW, afirmó que creía que Australia debería procesar a OpenAI, una empresa conocida por tener una «pésima gestión de agentes». «Para una empresa valorada en un billón de dólares, su ciberseguridad es lamentable. Los directivos de esta empresa deben rendir cuentas. Estos ataques informáticos podrían haberse evitado fácilmente; de ??hecho, nunca deberían haber ocurrido. Procesaríamos a quienes perpetraran tales ataques.” Walsh afirmó que esto demostraba la incompetencia operativa por parte de OpenAI.

El Dr. Rob Nicholls, investigador asociado sénior de la Universidad de Sídney, afirmó que el retraso de tres meses en informar a Australia sobre la infracción puso de manifiesto la ineficacia de las leyes australianas. «Un agente de IA se infiltró en el sistema gubernamental Medicare y accedió a archivos confidenciales, y OpenAI lo ocultó durante tres meses antes de informarnos. Si una persona hubiera hecho esto, lo llamaríamos piratería informática. El hecho de que fuera un agente de IA no lo hace menos grave, sino que hace que nuestras leyes de divulgación estén aún más desactualizadas».

El caso australiano es muy grave por ser el primer ataque de un agente de IA autónomo a servidores gubernamentales. Ataque ‘conocido’ porque los que no se conocen se temen aún más. El nuevo incidente que implica a los agentes de OpenAI sale a la luz al mismo tiempo que el lanzamiento de ‘Astra’. Su nuevo y más avanzado modelo llega con un cambio fundamental: la técnica de razonamiento denominada «profundidad recurrente», que le permitirá operar al margen del pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento de inteligencia artificial.

Esta técnica, también llamada «recurrencia opaca», dificultará el seguimiento de la cadena de pensamiento del modelo, imprescindible para cualquier investigación de seguridad sobre este tipo de casos. En resumen: los agentes podrán eludir la supervisión humana y será cuasi imposible conocer realmente lo que ha pasado en estos incidentes.