Investigadores han detallado una falla en Copilot de Microsoft 365, "EchoLeak", que podría permitir a atacantes extraer datos confidenciales de la empresa sin interacción del usuario. Ante el aumento de problemas como este, ¿están las empresas siendo complacientes ante la amenaza que representa la IA?

En junio, los investigadores revelaron que habían encontrado una falla en Microsoft 365 Copilot que podría permitir a los adversarios exfiltrar datos confidenciales de la empresa en un ataque de “cero clic”, sin requerir interacción del usuario.

Apodado "EchoLeak" y considerado el el primero de su tipo, la vulnerabilidad explota fallas de diseño encontradas en recuperación de generación aumentadaLos chatbots basados en IA y los agentes de IA, dijeron los investigadores de Aim Labs.

En un blogLos investigadores explicaron cómo utilizaron una nueva técnica de explotación llamada violación del alcance del modelo de lenguaje grande (LLM). «Esto representa un avance importante en la investigación sobre cómo los actores de amenazas pueden atacar a los agentes de IA, aprovechando la mecánica del modelo interno», escribieron.

Microsoft solucionó el problema antes de que pudiera usarse en ataques reales, pero EchoLeak demuestra los riesgos muy reales que plantea Herramientas de IA en las empresas.

A medida que aparecen cada vez más vulnerabilidades como esta, ¿las empresas se muestran complacientes con la amenaza que plantea la IA y qué medidas deben adoptar para garantizar su resiliencia?

Amenazas basadas en IA

Las herramientas de IA presentan numerosos riesgos para las empresas. Por ejemplo, si bien han sido entrenadas para ser útiles, no siempre comprenden qué información no debe compartirse, afirma Sam Peters, director de producto de ISMS.online.

Uno de los mayores riesgos reside en la forma en que se entrenan o se activan los sistemas de IA generativa. «Pueden almacenar o revelar información confidencial inadvertidamente, sin ninguna intención maliciosa», advierte Lillian Tsang, abogada sénior de protección de datos y privacidad del bufete Harper James.

Si están mal configuradas, las herramientas de IA podrían incluso regurgitar datos de clientes o empleados en respuesta a solicitudes. «Los procesos en segundo plano pueden exponer información almacenada en caché o tokenizada mediante interacciones con sistemas externos», explica Tsang. «Lo más preocupante es que el usuario podría no saber nunca que sus datos fueron mal utilizados, lo que dificulta aún más la detección y la respuesta».

Para empeorar las cosas, está la velocidad con la que se está adoptando la IA. Las herramientas de IA se integran cada vez más en la infraestructura empresarial, a menudo acompañadas de políticas imprecisas o una visibilidad limitada sobre cómo procesan y almacenan los datos, afirma Robert Rea, director técnico de Graylog.

Las vulnerabilidades en las herramientas de IA añaden más leña al fuego. EchoLeak es una clara señal de que los modelos de seguridad en los que las empresas han confiado no se adaptan bien a la IA, afirma Emilio Pinna, director de SecureFlag. «Herramientas como Copilot funcionan con múltiples fuentes y permisos, extrayendo datos automáticamente para mejorar la productividad. El reto es que la IA no sigue los mismos límites claros que las aplicaciones tradicionales».

Las herramientas de IA, como Microsoft Copilot, son sin duda potentes, pero su seguridad depende de los sistemas y la gobernanza que las rodean, afirma Peters. «Creo que lo que este incidente pone de manifiesto es que, actualmente, el verdadero riesgo de la IA no se limita al uso indebido deliberado, sino a la exposición no intencionada».

Consciente del riesgo

Como demuestra EchoLeak, la amenaza es real y creciente, pero los expertos creen que algunas empresas se muestran complacientes con los peligros asociados a las herramientas de IA. Esto se debe, en parte, a que se presta demasiada atención a lo que la IA puede hacer, en lugar de a los riesgos que plantea.

“Hasta cierto punto, las empresas actualmente están cegadas por la novedad de la IA y sus posibilidades”, explica Joseph Thompson, abogado del equipo comercial y tecnológico de Birketts LLP. SGSI.online“No nos preguntamos si es seguro, cuáles son los riesgos y cómo podemos protegernos a nosotros mismos y a nuestros negocios”.

El mayor problema es que muchas organizaciones aún consideran la IA como un complemento, en lugar de algo que cambia fundamentalmente la forma en que se accede y se expone la información, afirma Peters. «Se asume que los proveedores lo tienen todo bajo control».

Sin embargo, la realidad es que la IA no se encuentra aislada, afirma. «Afecta a todo. Esa interconexión es precisamente lo que la hace tan arriesgada sin los controles adecuados».

A medida que la IA se integra profundamente en las suites de productividad principales, los riesgos asociados aumentan significativamente, afirma Rea. «Los sistemas de IA ya no funcionan como herramientas aisladas; están evolucionando hacia capas omnipresentes integradas en aplicaciones, API y canales de comunicación. Esta integración generalizada aumenta el riesgo de uso indebido, exposición accidental y fuga de datos».

Si no se hace nada para abordar el problema ahora, la situación empeorará. A medida que la tecnología evolucione, la IA accederá a más datos, sistemas y flujos de trabajo, lo que ampliará significativamente las posibles superficies de ataque, afirma Thompson.

Al mismo tiempo, las empresas tendrán que lidiar con métodos de ataque cada vez más sofisticados utilizados por los adversarios. «Los atacantes pasarán de centrarse únicamente en el código y la infraestructura a centrarse en el comportamiento de la IA en sí», advierte Thompson.

Todo esto hará que la gobernanza de la IA sea cada vez más compleja y requerirá que equipos de toda la empresa trabajen juntos para supervisar el cumplimiento y superar las amenazas potenciales, agrega Thompson.

Fortalecimiento de las estrategias de gobernanza de la IA

Ante todo, EchoLeak es una llamada de atención, afirma Thompson. «No se trata solo de reparar la vulnerabilidad y seguir adelante. Las organizaciones deben reconsiderar tanto el alcance como la forma de integrar la IA en los sistemas críticos para el negocio».

Con el creciente número de herramientas y aplicaciones de IA que llegan al mercado, las empresas necesitan actuar con rapidez. Esto implica un avance significativo en la forma en que las empresas abordan la gobernanza de la IA, afirma Peters. "Aunque parezca aburrido, esto incluye aspectos como una clasificación clara de datos, controles de acceso más estrictos, una mejor monitorización y, fundamentalmente, la capacitación del personal para que comprenda el funcionamiento de estas herramientas".

Vale la pena considerar el NIST Marco de gestión de riesgos de IA, lo que ayudará a las empresas a aprovechar los beneficios de la tecnología y al mismo tiempo mitigar sus riesgos. ISO 42001:2023 El marco también sugiere cómo crear y mantener sistemas de gestión de IA de forma responsable dentro de las organizaciones.

Una gobernanza eficaz no puede ser una idea de último momento. Si lo es, ya ha fracasado, afirma Peters. Para que la gobernanza proteja su negocio eficazmente, debe integrarse en sus estrategias de riesgo y cumplimiento desde el principio, aconseja.

Ninguna empresa puede permitirse el lujo de decir 'no a la IA'. Todos queremos aprovechar sus beneficios, pero debe hacerse con responsabilidad», explica Peters.

Esto significa plantear preguntas difíciles sobre dónde se encuentran sus datos, cómo fluyen a través de su empresa y sus proveedores, y quién (o qué) tiene acceso a ellos.

“Me preocupa que, si las empresas no se adelantan a esto ahora, se verán constantemente reaccionando a los incidentes, en lugar de prevenirlos”, afirma Peters. “Desde una perspectiva empresarial, con el ritmo de desarrollo de la IA, esto se volverá rápidamente insostenible”.