Mistral AI: «La IA es software. Se puede controlar»

Arthur Mensch, CEO y cofundador de Mistral AI, el principal laboratorio de inteligencia artificial europeo, ha valorado las últimas novedades del sector en una entrevista con Le Monde donde ha vuelto a apostar por una estrategia propia frente a los gigantes chinos y estadounidenses de la IA. Teniendo en cuenta que esta compañía francesa se propone como una de las claves en la pretendida soberanía digital europea, sus declaraciones son sumamente interesantes. Además, el momento no puede ser más oportuno.

El desarrollo de la IA se encuentra en una encrucijada. Desde que conocimos que un agente de OpenAI hackeó los servidores de la compañía Hugging Face de manera autónoma y sin intervención humana, las alertas sobre los riesgos de la IA han vuelto al primer plano de la actualidad. Realmente nunca se fueron, aunque en los últimos meses la IA ha destapado sus costuras. Si bien conviene analizar de manera sosegada eso del ‘apocalipsis de la IA’ no es menos cierto que los riesgos son evidentes y obligan a una profunda reflexión del momento y de un futuro donde la automejora recursiva de la IA pone los pelos como escarpias, si no se consigue un control absoluto.

La historia es conocida: Los agentes de IA (o IA agéntica) son la principal tendencia tecnológica dentro de la propia revolución de la era de la inteligencia artificial y prometen un potencial impresionante, pero con unos obstáculos para una implementación segura y controlada que son también de enormes dimensiones. Y no son los únicos apartados a debate. También por los aspectos éticos y laborales que implica una revolución tecnológica que pretende cambiar el mundo, además de los costes en energía, agua y chips, necesarios para poner en marcha proyectos gigantescos.

Las soluciones propuestas son diversas. Mientras que algunos, incluyendo los dos mayores laboratorios de IA (OpenAI y Anthropic) proponen ralentizar el desarrollo de IA de vanguardia, otros apuesta por todo lo contrario: para delante, pase lo que pase. En este escenario, es relevante una opinión propia, quizá un término medio e independiente de los gigantes de la IA.

Mensch apunta duro y fuerte en una de sus declaraciones más noticiables: «La IA es software. Se puede controlar». Un ataque directo a los casos de descontrol de los agentes de OpenAI y Anthropic. El ejecutivo también defendió la estrategia de Mistral AI ante las críticas de que la empresa se está quedando atrás respecto a sus competidores estadounidenses y chinos. Anunció que un nuevo modelo de IA se lanzará «en las próximas semanas» y sugirió introducir «garantías estatales» para facilitar la financiación de centros de datos en Europa. Por último y no menos importante, el cofundador de Mistral AI no se cree la sinceridad de los laboratorios estadounidenses en su propuesta de frenar el desarrollo. Te dejamos sus declaraciones principales:

Las reflexiones del CEO de Mistral AI

[Pregunta] Desde este verano, importantes laboratorios de IA han reportado incidentes relacionados con su software, e incluso algunos empleados han advertido que la tecnología podría aniquilar a la humanidad para finales de la década. ¿Cómo interpreta usted estas advertencias?

[Arthur Mensch] Las empresas estadounidenses desplegaron agentes de IA, aparentemente de forma bastante descuidada, que escaparon de sus entornos de prueba y procedieron a piratear varios sitios web. Lo que debería haber sido un incidente embarazoso para estas empresas se ha convertido en un argumento de marketing. El principal riesgo para ellas es que su modelo de negocio, que consiste en desarrollar modelos de IA propios y cobrar precios muy elevados a las empresas, se vea presionado. Los clientes utilizan cada vez más modelos de código abierto [de libre acceso y modificables, como los desarrollados por startups chinas o por Mistral AI]. En respuesta, estos laboratorios de IA han intentado ejercer lo que se denomina «captura regulatoria»: argumentan que solo un número muy reducido de actores debería estar autorizado a proporcionar esta tecnología, ya que supuestamente es la única forma segura de hacerlo.

[Pregunta] ¿Acaso los llamamientos de las empresas estadounidenses OpenAI y Anthropic para ralentizar la investigación en IA e introducir auditorías externas en colaboración con los gobiernos constituyen un intento de impedir la entrada al mercado?

[Arthur Mensch] Durante los últimos cuatro años, han argumentado que solo ellos deberían proporcionar modelos de IA y que la IA de código abierto representa un peligro. Este debate es un enfrentamiento entre dos futuros posibles: uno en el que la IA está centralizada y es proporcionada por un oligopolio, en este caso estadounidense, y otro en el que la IA está descentralizada y crea valor para todos. Con el software de código abierto, las empresas pueden crear su propia propiedad intelectual y mantener el control de la continuidad económica de sus sistemas. En otras palabras, pueden activarlos o desactivarlos cuando quieran. También se trata de una cuestión de control de costes: si su empresa ha acumulado experiencia, ¿preferiría cederla a un oligopolio de IA que podría usarla para crear mejores sistemas, o, por el contrario, la usaría para desarrollar un sistema distintivo que la diferencie de la competencia?

[Pregunta] ¿Acaso se pueden descartar las discusiones sobre los riesgos extremos de la IA como mera «campaña de miedo»? ¿No existen preocupaciones reales dado el drástico aumento de las capacidades de la IA?

[Arthur Mensch] Las capacidades de la IA están aumentando. Esto implica que los sistemas de control también deben volverse más complejos. Los modelos de IA necesitan estar mejor alineados (es decir, ser más respetuosos con las intenciones de los usuarios) y ubicarse en entornos tecnológicos aislados que otros modelos de IA puedan monitorear. Estas son cuestiones complejas, pero en última instancia, son cuestiones de ingeniería de software. Como con cualquier software, es necesario comprobar su funcionamiento antes de lanzarlo al mercado.

[Pregunta] ¿Acaso este descuido no plantea problemas? En algunos casos, los sistemas de IA han parecido ocultar sus intenciones o trabajar juntos de maneras muy sofisticadas.

[Arthur Mensch] El ciclo de desarrollo de la IA es más complejo porque estos sistemas pueden parecer orgánicos y comportarse de forma impredecible. Sin embargo, la gente tiende a antropomorfizar la IA: empresas como Anthropic afirman que los sistemas de IA se asemejan en cierto modo a los humanos, con una forma de consciencia y, por lo tanto, son completamente incontrolables. La IA es software. Se puede controlar. Es fácil detectar si los agentes de IA están pirateando el sistema de un vecino. Para una aplicación de IA en una empresa, es necesario verificar que siga las instrucciones y evaluarla en condiciones reales. Es perfectamente posible hacerlo sin establecer una supervisión regulatoria dominada por un oligopolio que afirme ofrecer los únicos sistemas seguros del mercado.

[Pregunta] ¿Por qué es más seguro hacer que la IA sea de código abierto y esté disponible para todos que controlarla mediante unos pocos actores importantes sujetos a regulación?

[Arthur Mensch] La distribución de código abierto no es una garantía. Por ejemplo, nadie creará modelos de código abierto que sean especialmente eficaces en ciberataques. Pero si eres un atacante malicioso, ¿te facilita el trabajo el código abierto? Es más fácil usar un proveedor de IA existente —incluidos los disponibles para el público en general—, posiblemente eludiendo sus medidas de seguridad, que construir un sistema propio con componentes de IA de código abierto. El código abierto ofrece protección: al implementar estas IA en su organización, no depende de terceros ni necesita enviar sus datos a un proveedor (el usuario puede instalarlas en los servidores que prefiera). Además, puede modificar los modelos. Una comunidad se encarga de su desarrollo, amplía sus límites y crea herramientas para facilitar su control. Hoy en día, la infraestructura de software en la que se basa el mundo es de código abierto, ya que ha demostrado ser la mejor manera de garantizar la seguridad de los sistemas.

[Pregunta] ¿Entonces no es necesaria ninguna regulación específica relacionada con los avances en IA?

[Arthur Mensch] Obviamente, las aplicaciones deben estar reguladas. Si tus sistemas empiezan a hackear a tu vecino, podrías ser penalmente responsable. Eso ya ocurre. Y eso ejerce presión sobre las empresas, que, al implementar sistemas de IA para ellas, nos piden que contemos con los mecanismos de monitorización necesarios.

[Pregunta] Has manifestado tu escepticismo ante el concepto de «superinteligencia», que consideras casi una cuestión religiosa. Pero, ¿acaso no se vislumbra ya en el horizonte que la IA supere la inteligencia humana? ¿Cómo deberíamos abordarlo?

[Arthur Mensch] La industria ha acuñado numerosos términos de marketing para describir los potentes sistemas de IA. Algunos términos que ofrecen capacidades económicamente valiosas son «aprendizaje profundo», «IA general», «IA superior» o, más recientemente, «IA recursiva». No es nada del otro mundo. Simplemente indica una dirección: todos estamos desarrollando sistemas de IA que se perfeccionan a sí mismos hasta ser más eficaces que los humanos. Uno de los retos consiste en lograr que estos sistemas de IA sean útiles para los humanos. El verdadero problema reside en la simbiosis entre humanos y máquinas. Por ejemplo, en matemáticas, si se llevan los modelos de IA al límite, se obtienen demostraciones, pero estas no resultan muy interesantes porque no se ha seguido el camino que conduce a la solución y, por lo tanto, no se han descubierto los aspectos que benefician a los matemáticos en general. En las empresas, el cuello de botella es organizativo: radica en proporcionar tanto a los humanos como a los agentes de IA acceso al mismo contexto y a la misma información para que puedan realizar tareas de forma útil e interpretable.

Como verás, muy interesante esta entrevista al CEO y cofundador de Mistral AI, que puedes leer completa en LeMonde.