«Es más importante regular casos de uso que modelos de IA»

¿Qué papel juega la ética, o la transparencia en la IA? ¿De qué forma deben auditar las empresas los modelos de IA Generativa que emplean en sus aplicaciones de negocio? ¿Qué es lo que más preocupa a los responsables TIC cuando la IA entra en la ecuación de la gestión de datos críticos?

Estos son algunas de las cuestiones que, en la última conferencia para desarrolladores de Salesforce (TrailblazerDX), le planteamos a Paula Goldman, Chief Ethical Officer de la compañía. En esta entrevista, Goldman nos habla de la importancia que sigue teniendo la supervisión humana de los modelos, la necesidad de una mayor transparencia o cómo la regulación puede impulsar la innovación.

[MCPRO] Paula, cuéntame sobre tu rol en Salesforce. ¿Qué es exactamente un Chief Ethical Officer (director de ética)?

[Paula Goldman] Soy la primera persona en este puesto en Salesforce. Su esencia es trabajar con nuestros equipos de producto e ingeniería en asuntos de ética relacionados con la IA, asegurándonos de que lo que lanzamos al mundo sea confiable; testándolo, revisándolo, todo ese tipo de cosas. También trabajo en políticas de producto, accesibilidad de producto y diseño inclusivo para garantizar que nuestros productos funcionen para todos.

[MCPRO] Una de las cosas que se ha hecho evidente es que la IA generativa necesita ser supervisada por un componente humano debido a la posibilidad de sesgos, errores, etc. ¿Qué implica para Salesforce esa supervisión?

[Paula Goldman] Creo que la idea que intentamos transmitir es que supervisión es una buena palabra. En el pasado solía oírse hablar del “humano al mando”, que significaba literalmente, “voy a revisar absolutamente todo”. Esto hoy en día ya no es ni posible, ni práctico.

A medida que los asistentes de IA se vuelven más poderosos y comienzan a actuar en nuestro nombre, y luego a medida que esas acciones se vuelven cada vez más complejas, es la supervisión, el control, la auditoría, lo que se vuelve más importante.

En el caso de Salesforce, puedes usar herramientas como Prompt Studio o Copilot Builder para establecer los parámetros de algunas de estas acciones con anticipación, incorporar flujos o etiquetar metadatos adecuados y probar que todo funcione. Y aunque al realizar estas acciones has incorporado capas de seguridad, quieres asegurarte de que sigue funcionando como debería, por lo que quieres tener esa capacidad de auditoría, en forma de un historial. Y el historial de auditoría, que es más como un control posterior, lo puedes revisar y ver cómo va, ver dónde se pueden ir haciendo ajustes.

[MCPRO] ¿Cómo es ese proceso de auditoría?

[Paula Goldman] En un proceso de revisión deberías tener un panel que te permite determinar rápidamente cómo van las cosas en el modelo. En el caso de Salesforce, te permite saber por ejemplo, si la información personal identificable permanece oculta («enmascarada») o que no haya toxicidad en los resultados.

Pero también el feedback que están proporcionando los usuarios. Las respuestas que está dando el modelo ¿son generalmente aprobadas o no? ¿Se toma por válido el contenido de la IA, o normalmente es editado? Y a partir de ahí introducir pequeños ajustes que mejoren los resultados. Ese tipo de cosas.

Puede haber casos en los que quieres que sea un humano el que revise todo ese funcionamiento, cada cosa…pero generalmente lo más interesante es establecer esos controles de forma previa, dejar que el modelo se ejecute y tener ese panel de auditoría en el que se puede comprobar que todo está funcionando como debería.

Claro, hay una distinción claro entre los modelos que van al consumidor y los que utilizan los negocios. Para los negocios, hablamos de tareas empresariales muy específicas. Y sí, algunas de esas tareas empresariales pueden ser más arriesgadas que otras. Y en algunas de ellas querrás mucho más escrutinio que en otras.

Es muy diferente que una IA me diga, por ejemplo, si todas mis facturas están cerradas o no, a que una IA resuma una visita al médico. Son dos niveles diferentes de riesgo. Por eso es importante calibrar adecuadamente el modelo.

[MCPRO] Cuando hablamos de los desafíos actuales a los que nos enfrentamos con la IA generativa, tenemos alucinaciones, seguridad de datos, calidad de datos, privacidad… ¿Cuál de estos problemas te preocupa más personalmente?

[Paula Goldman] Me preocupan todos. Pero si le preguntas a nuestros clientes, dirán, en general, que lo que más les preocupa es la seguridad de los datos y su confidencialidad. Saber que sus datos confidenciales solo se mueven en un entorno controlado, y que solo las personas adecuadas tienen derecho a ver esos datos. Y luego hablarán de la privacidad como uno de los principales problemas.

Pero para mí, todos son problemas importantes. Parte de la complejidad a la que nos enfrentamos proviene de que las respuestas a estas preguntas no son las mismas ni siquiera dentro de un país, y mucho menos entre países, idiomas, culturas. Por ejemplo, hay diferentes umbrales y definiciones de lo que es información personal identificable legalmente protegida en diferentes culturas.

Es fascinante ver, por ejemplo, cómo diferentes países lanzan iniciativas en torno a una IA soberana que es más específica culturalmente. Y creo que eso será en realidad muy útil e interesante a medida que sigamos localizando las soluciones de IA en diferentes culturas.

[MCPRO] Como sabes, la regulación en Europa es muy estricta y están poniendo en marcha un montón de iniciativas para regular también cómo se comporta la IA generativa. ¿Crees que podemos enfrentarnos al riesgo de una regulación excesiva, que impacte la competitividad de empresas o incluso países?

[Paula Goldman] En general, creo que la Ley de IA de la UE hace un buen trabajo equilibrando las cosas. En realidad, mi interpretación de la Ley de IA es que trata de regular los resultados de más alto riesgo de la IA. En vez de regular los algoritmos o los modelos, regula los casos de uso.

Y los casos de uso más «peligrosos» son los que se van a utilizar para determinar nuestro acceso a un trabajo, un préstamo, a una vivienda, ese tipo de cosas. Así que, en términos generales, creo que la normativa adopta el enfoque correcto. En realidad, es un paso adelante que va a fomentar nuevas innovaciones. Con un marco regulatorio común, es más fácil innovar más rápido.

[MCPRO] Una de las cosas más interesantes que tu conferencia fue el explicar cómo la confianza y la transparencia son esenciales para los algoritmos y los modelos. ¿Cómo aborda Salesforce esta transparencia?

[Paula Goldman] Tenemos algo llamado “tarjetas de modelos” para todos los modelos que creamos. Y esas tarjetas son como las «etiquetas nutricionales» de los modelos. En ellas se explica cuál era el propósito original del modelo, para qué debe usarse o no.

También hemos invertido mucho en la documentación de nuestros productos, especialmente los de IA generativa, para ayudar a la gente a entender, para qué deberían utilizarlos o no, y cuáles son algunos de los riesgos asociados. En nuestra plataforma Trailhead, tratamos de educar a la gente sobre casos de uso específicos de productos, riesgos y mejores prácticas.

Creo que tenemos que seguir presionando y seguir subiendo el listón y trabajar en nuevas formas de hacer accesible y digerible la información para la gente, para que realmente entiendan cómo usar la IA de forma responsable. Así que seguimos experimentando con eso. Y por eso estamos invirtiendo tanto en esta investigación humana. Ahora mismo en muchos productos de IA, incluyendo los nuestros, hay una pequeña advertencia que aparece y dice: “oye, la IA puede ser inexacta. Ten cuidado”. Muchas personas se han acostumbrado a esa advertencia y no le prestan la atención que deberían. Nosotros seguimos por ejemplo reforzando esas salvaguardas en distintos casos.

Hacemos mucho énfasis en la configuración predeterminada de los productos para que las personas sepan cómo usarlos de manera responsable desde el principio. Y si quieren hacer algo de mayor riesgo, tienen que hacer un opt-in para ello.

[MCPRO] Estamos viendo cómo hay muchas expectativas en las posibilidades de la IA generativa, y tenemos muchos modelos y empresas haciendo cosas geniales desde OpenAI hasta Microsoft, o la propia Salesforce. ¿Pero qué grado de aceptación hay en los clientes? ¿Permanecen en una fase de experimentación, o veis que esta forma de trabajar está pasando a producción?

[Paula Goldman] No puedo hablar por todas las empresas del mundo. Pero diría dos cosas. Una, nuestra experiencia en Salesforce. Obviamente, somos una empresa de tecnología, así que tal vez nuestra percepción esté algo sesgada. Pero nuestros empleados están muy, muy entusiasmados con la IA y ansiosos por experimentar.

Hemos hecho una serie de cosas específicamente para nuestros propios empleados. Como por ejemplo, dentro de nuestra instancia de Slack, y dentro de nuestra capa de confianza, tenemos Einstein empoderado y lo usamos para mejorar nuestro trabajo. Personalmente lo uso mucho para borradores de comunicaciones y cosas así. Y lo hicimos porque no queremos que la gente use datos confidenciales de la empresa en aplicaciones de terceros y cosas así. Yo diría que en general, si se encuesta a los empleados, te dirán que hay mucho entusiasmo.

En una investigación reciente que hicimos, llegamos a la conclusión de que el 80% de los empleados de nuestros clientes decía que sí, que estas herramientas son realmente útiles. La IA generativa me está ayudando a ser más productivo. Pero el 60% de las mismas personas, los empleados, decían, bueno, los humanos necesitan tener el control sobre estas cosas y tenemos que seguir encontrando maneras de mantener a los humanos en el control. Así que es interesante.

Creo que es emocionante porque aún es temprano, ¿verdad? Y por mucho que estos productos hayan madurado en el último año, aún no hemos visto todo el potencial de cómo esto va a transformar los trabajos.

[MCPRO] Al mismo tiempo hay mucha presión sobre los CEOs y los departamentos de TI, porque cada día o cada mes, hay nuevos modelos que salen, nuevas tecnologías. Y creo que para ellos es muy desafiante y difícil decir, bueno, este es el bueno. Este es el mejor. Y quiero quedarme con este porque no lo saben. Tal vez el mes que viene salga otro y sea mejor. Así que todavía estamos en esta fase.

Paula Goldman: Creo que los modelos importan mucho y siguen mejorando. Pero si le preguntas a un ingeniero, creo que lo que te dirían que igual de importante, si no más, son las técnicas que van sobre los modelos, el cómo se aterriza el data and «retrieval augmented generation», las reglas que se establecen y el tipo de umbral de cuán creativo es el modelo versus lo constreñido que se quiere que sean los resultados.

Ese es el tipo de cosas en las que realmente vemos que las empresas están empezando a evaluar su propia tolerancia al riesgo y a probar casos de uso específicos y a expandirse desde allí. Los ejecutivos saben que esto va a seguir avanzando rápidamente. Así que no están esperando. Están experimentando.

Regístrate gratis en el Salesforce World Tour Madrid del próximo 4 de abril

El próximo 4 de abril, gracias al Salesforce World Tour que se celebra en Madrid, conocerás cómo aprovechar todo el potencial de la Inteligencia Artificial para que tu organización gane en productividad, eficiencia y en capacidad para personalizar sus productos y soluciones, mejorando para siempre la relación que mantiene con sus clientes.

Y es que la Inteligencia Artificial ha cambiado de forma radical la experiencia de cliente. En muchos casos, ya supone un antes y un después a la hora de ofrecer experiencias personalizadas basadas en datos, mejorando así el servicio de soporte al utilizar asistentes virtuales o predecir el comportamiento futuro de los usuarios al conocer cómo cambian sus preferencias de compra a lo largo del tiempo.

A lo largo de un día dedicado a la innovación más puntera, los asistentes al Salesforce World Tour conocerán de primera mano cómo el mundo del retail está innovando gracias a la IA Generativa, cómo es el nuevo viajero conectado que está transformando el turismo o de qué forma el sector financiero está optimizando la relación con sus clientes a través del dato y la IA. ¡No te lo pierdas!