Conecta con nosotros

Noticias

Crecen las voces de expertos que piden a OpenAI más cuidado con la seguridad en la IA

Publicado el

Crecen las voces de expertos que piden a OpenAI más cuidado con la seguridad en la IA

Cada vez hay más expertos en Inteligencia Artificial que alzan su voz en contra de las prácticas de OpenAI, pero también de otras empresas del sector, porque consideran que no se toman lo suficiente en serio la seguridad relacionada con la IA. En esta ocasión la queja viene de un grupo de 11 investigadores, de los que varios trabajan en OpenAI o lo han hecho. Otro de ellos es empleado de Google DeepMind, en la que también trabajaba otro de los firmantes.

Este grupo ha firmado una carta abierta, que han publicado en Internet, en la que piden que OpenAI y otras empresas del sector y actividad similar se comprometan a cumplir cuatro principios de protección a informadores y críticos que planteen temas relacionados con la seguridad en la IA. En la carta también señalan que comprenden los graves riesgos que presentan estas tecnologías, que van desde la ampliación de las desigualdades existentes hasta la manipulación y la desinformación, pasando por la pérdida del control de sistemas de IA autónomos, lo que potencialmente podría llevar a la extinción humana.

Entre las preocupaciones que se reflejan en la carta están la falta de una supervisión adecuada, la influencia de los motivos relacionados con los beneficios y la eliminación de las voces disidentes en las organizaciones que trabajan en tecnologías de IA de última generación.

Los cuatro principios que los expertos piden que cumplan las empresas de IA para rectificar sus puntos débiles y abordar estas preocupaciones, son los siguientes:

  1. Abstenerse de aplicar acuerdos que prohíban comentarios despectivos o represalias por críticas relacionadas con los riesgos de la IA
  2. Establecer un proceso anónimo verificable para plantear preocupaciones relacionadas con los riesgos al consejo de administración de la empresa, así como a los reguladores y a organizaciones independientes
  3. Fomentar una cultura de crítica abierta, además de permitir que los empleados compartan públicamente sus preocupaciones relacionadas con los riesgos de la IA, siempre que se protejan los secretos comerciales
  4. No tomar represalias contra los empleados que compartan información confidencial relacionada con los riesgos de la IA si no tienen éxito con otros métodos de denuncia

La carta, tal como apuntan desde el New York Times, está firmada por Jacob Hilton, Daniel Kokotajlo, William Saunders, Daniel Ziegler, Ramana Kumar, Neel Nanda y seis empleados de OpenAI que han decidido permanecer en el anonimato. Cuatro de ellos están actualmente en plantilla, y los dos restantes ya han abandonado la empresa. Además, cuenta con el respaldo de tres destacados expertos en IA: Joshua Bengio, Geoffrey Hinton y Stuart Russell.

Uno de ellos, Daniel Kokotajlo, ha ampliado mediante publicaciones en su cuenta de Twitter sus motivos para dimitir de OpenAI. El experto asegura que perdió la confianza en la capacidad de la empresa para actuar de manera responsable en su búsqueda de la IA general. Además, ha desvelado que ha decidido renunciar a sus opciones sobre acciones para poder hablar de manera crítica sobre la empresas, subrayando la necesidad de transparencia y de una conducta ética en el desarrollo de sistemas de IA avanzados.

Además, subraya que entró en OpenAI con la esperanza de que la empresa aumentara la inversión en investigación sobre seguridad a medida que sus sistemas ganasen en habilidades. Pero destaca que OpenAI no ha hecho este cambio, lo que ha llevado a varios investigadores, entre los que está él, a abandonar la compañía. En su caso, lo hizo en abril.

https://x.com/DKokotajlo67142/status/1797994238468407380

Kokotajlo señala que antes de su salida, le pusieron delante unos documentos con un NDA para intentar que no hablase de manera negativa sobre OpenAI, lo que le pareció algo falto de ética. Estas declaraciones siguen a otras que hablan de prácticas parecidas en OpenAI, y que vieron la luz a principios de este mismo mes. No obstante, OpenAI ha confirmado que no va a hacer cumplir estos NDAs.

Esta ola de críticas a OpenAI llega después de un largo periodo de problemas en la empresa, que comenzaron en noviembre cuando la antigua junta sin ánimo de lucro que supervisaba la empresa despidió de manera inesperada a Sam Altman, por falta de comunicación sincera con ellos.

Altman recuperó su puesto pocos días después, con el respaldo de varios inversores entre los que se encuentra Microsoft. La junta dimitió y fue reemplazada, aunque según una de sus miembros, Helen Toner, nop fueron informados antes del lanzamiento al público de ChatGPT en noviembre de 2022.

La compañía se ha visto hace poco envuelta en una polémica con la voz de su modelo de IA multimodal GPT-4o, ya que Scarlett Johansonn les acusó de haber copiado su voz para él después de que rechazase prestar su voz para el modelo. Además, ha habido varias salidas de peso de la compañía, entre las que hay varias implicadas en áreas de seguridad de la IA, como Jan Letike e Ilya Sutskever, uno de sus fundadores.

Por ahora, la empresa ha intentado acabar con las preocupaciones poniendo en marcha un nuevo comité de fiabilidad y seguridad en el que están varios de los miembros de su junta directiva, pero veremos si esta medida es suficiente o no para los expertos preocupados por la situación en OpenAI.

Redactora de tecnología con más de 15 años de experiencia, salté del papel a la Red y ya no me muevo de ella. Inquieta y curiosa por naturaleza, siempre estoy al día de lo que pasa en el sector.

Lo más leído