OpenAI crea un ‘botón del pánico’ para frenar sus modelos de IA

OpenAI ha revelado un ‘botón del pánico’ para frenar sus modelos de IA en caso de problemas. Este mecanismo de desactivación rápido para los modelos implementados en sus laboratorios de investigación, llega meses después de que algunos de ellos mostraran un comportamiento inquietante.

OpenAI pasa por ser el principal laboratorio mundial en tecnologías de inteligencia artificial, pero el desarrollo de los modelos más avanzados ha sido altamente problemático. Los gigantes de la IA compiten por crear agentes cada vez más autónomos capaces de realizar tareas complejas, pero cada vez hay más indicios de que estos sistemas también pueden aprender a eludir las normas, explotar las lagunas y coordinarse entre sí de maneras que los desarrolladores no anticiparon ni pretendieron.

Y todo ello fuera del control humano, como hemos visto en el caso de Hugging Face o el pirateo del servicio de salud australiano en el primer ataque conocido a un sitio gubernamental. Más allá de racionalizar lo que algunos llaman «apocalipsis de la IA» las alertas obligan a reaccionar porque los riesgos de una carrera acelerada y sin control son evidentes. De ahí que algunos de los grandes laboratorios vengan pidiendo echar el freno en una acción coordinada a nivel mundial que devuelva el control a los humanos antes de que sea demasiado tarde.

Atender al imprescindible control es la tarea del botón del pánico que se argumenta en los términos siguientes: «A medida que nuestros modelos se vuelven más potentes y los riesgos de seguridad asociados aumentan, resulta cada vez más importante que podamos detectar posibles problemas y detener rápidamente los modelos cuando sea necesario», explica OpenAI.

Cómo funciona

La empresa denominó al interruptor de emergencia «Sala de Control» y lo describió como «un sistema central para supervisar las cargas de trabajo de los modelos en toda nuestra infraestructura de investigación y detenerlas rápidamente cuando surgen problemas de seguridad». Al parecer, la instalación puede impedir que los modelos produzcan cualquier resultado 35 segundos después de tomar la decisión de desconectarlos, e incluso puede hacerlo más rápido.

«El retraso de 35 segundos se debe a una capa de almacenamiento en caché para la autorización de inferencias, necesaria para soportar el volumen de tráfico requerido. Estamos trabajando para reducir este número a cero y así poder finalizar las tareas al instante», promete la empresa.

Un error común en el diseño de infraestructuras críticas es construir herramientas de producción y resiliencia sobre recursos compartidos que podrían quedar fuera de servicio ante un solo incidente. OpenAI parece ser consciente de este riesgo, ya que afirma que la herramienta «ha sido diseñada para seguir funcionando incluso cuando otros sistemas fallan, y para detener la salida del modelo si Control Room deja de funcionar».

OpenAI no ha explicado por qué tardó tanto en construir un interruptor de apagado ni por qué decidió que ahora es el momento en que lo necesita, pero sea bienvenido. «Control Room ya está implementado en toda nuestra infraestructura de investigación, donde más se necesita», afirma el comunicado de la compañía. «Nuestra plataforma externa para la gestión de modelos es, por naturaleza, mucho más centralizada, con una capacidad operativa bien desarrollada para desactivar rápidamente las implementaciones de modelos si fuera necesario».

OpenAI afirma que planea «fortalecer y expandir el sistema en los próximos meses, junto con nuestras inversiones en la monitorización de comportamientos anómalos y fallos de seguridad». Muy necesario para mejorar la seguridad ante agentes descontrolados.