Crecen los ataques centrados en la IA generativa

Los ataques relacionados con la IA generativa, bien como apoyo o como objetivos del ataque, están creciendo en todo el mundo, según la consultora Gartner. Además, están subiendo en todas sus modalidades. Un 62% de las empresas experimentaron un ataque que utilizaba deepfakes en los últimos 12 meses, y un 32% se enfrentaron a un ciberataque en aplicaciones de IA que sacaron partido de sus prompts a lo largo del último año. Otro 29% experimentó ataques a la infraestructura utilizada para las aplicaciones de IA generativa.

Los asistentes que utilizan chatbots son vulnerables a diversas técnicas de prompt adversarias. Por ejemplo, a la generación de prompts para manipulación de modelos grandes de lenguaje o de modelos multimodales para que generen respuestas con contenido malicioso o sesgado.

Los ataques con deepfakes experimentados por las empresas implicaron además técnicas de ingeniería social, o la explotación de procesos automatizados. Un 30% experimentaron al menos un ataque a través de un vídeo con deepfakes empleado para saltarse sistemas biométricos de verificación de identidad. Otro 32% sufrieron ataques de deepfakes de audio también para engañar a sistemas biométricos que operan por voz.

Un 36% de los encuestados reconocieron haber sufrido un ataque de ingeniería social con un deepfake durante una videollamada con un empleado, y un 44% durante una llamada de audio con un trabajador.

Estos datos salen de un estudio realizado por la consultora entre los pasados meses de marzo y mayo entre 302 responsables de ciberseguridad que trabajan en las regiones de Norteamérica, EMEA y Asia-Pacífico. El estudio también señala que un 67% de los responsables de ciberseguridad son conscientes de que los riesgos de IA generativa demanda cambios notables a los enfoques actuales utilizados en ciberseguridad.

Según Akif Khan, Vicepresidente de analistas de Gartner, «a medida que su adopción acelera, los ataques que aprovechan la IA generativa para el phishing, los deepfakes y la ingeniería social se han convertido en mainstream, mientras otras amenazas, como los ataques a la infraestructura de aplicaciones de IA generativa y las manipulaciones basadas en prompts están en fase emergente y ganando tracción«.

Con respecto a los cambios de estrategia que se necesitan debido al aumento de ataques relacionados con la IA generativa, y a los riesgos que entraña esta tecnología, Khan ha destacado que «en vez de hacer cambios radicales o realizar inversiones aisladas, las organizaciones deberían reforzar los controles principales, e implementar medidas dirigidas a cada nueva categoría de riesgo«.