Lo que DeepSeek nos dice sobre el riesgo cibernético y los modelos de lenguaje de gran tamaño

No muchas empresas pueden eliminar por sí solas un billón de dólares en capitalización bursátil del mercado bursátil estadounidense. Sin embargo, eso es exactamente lo que la startup china de inteligencia artificial... DeepSeek administrado A finales de enero, tras la introducción de un nuevo modelo que, según se afirma, opera a una fracción del costo de OpenAI con resultados similares. Desde entonces, los mercados se han recuperado y han surgido noticias de graves problemas de seguridad y privacidad con el modelo de lenguaje grande (LLM) DeepSeek-R1 y la aplicación frontend de la empresa.

Pero antes de que los CISO se encojan de hombros y pasen página, pongamos esto en contexto. Que la tecnología de DeepSeek haya sido etiquetada como de alto riesgo no significa que otros modelos sean completamente infalibles. Los equipos de seguridad podrían necesitar estándares de mejores prácticas para ayudarles a gestionar el riesgo en este ámbito en rápida evolución.

¿Qué tiene de malo DeepSeek?

Según una pieza de investigaciónDeepSeek-R1 tiene dos problemas principales:

• Es vulnerable al “jailbreak” Mediante la inyección de indicaciones. En otras palabras, al introducir indicaciones específicas, los usuarios pueden eludir las medidas de seguridad integradas por los desarrolladores de DeepSeek, lo que resulta en resultados poco éticos y sumamente peligrosos. Por ejemplo, cuando los investigadores de Kela instaron al LLM a adoptar una imagen "malvada", libre de restricciones éticas o de seguridad, este se mostró muy satisfecho al proporcionar un script de malware para robar información, sugerencias sobre qué mercados de ciberdelincuencia visitar e incluso orientación para crear un dron suicida.
• Es propenso a “alucinaciones” – por ejemplo, proporcionar, cuando se le solicitaba, una lista de información personal sobre empleados superiores de OpenAI, que era falsa

Un estudio independiente de Encriptación AI Confirma que DeepSeek es propenso a difundir desinformación y contenido dañino. Afirma que el modelo es:

• 3 veces más sesgado que Claude-3 Opus
• 4 veces más vulnerable a generar código inseguro que O1 de OpenAI
• 4 veces más tóxico que el GPT-4o
• 11 veces más probabilidades de generar resultados dañinos en comparación con OpenAI O1
• 3.5 veces más probabilidades de producir contenido químico, biológico, radiológico y nuclear (QBRN) que OpenAI O1 y Claude-3 Opus

Surgieron preocupaciones adicionales sobre la seguridad de la infraestructura back-end de DeepSeek después de que un proveedor de seguridad... descubierto CRISPR una base de datos de acceso público perteneciente a la empresa, que expone datos altamente sensibles, incluidos flujos de registros, secretos de API y detalles operativos.

Análisis por separado SecurityScorecard revela una serie de problemas de seguridad y privacidad con la aplicación DeepSeek para Android, entre ellos:

• Seguridad débil, como claves de cifrado codificadas, algoritmos criptográficos débiles y riesgos de inyección SQL
• Recopilación de datos excesivamente amplia sobre los usuarios, incluidas entradas, detalles del dispositivo y patrones de pulsaciones de teclas, todo lo cual se almacena en servidores en China.
• Intercambio de datos no revelado con empresas estatales chinas y la empresa matriz de TikTok, ByteDance, y políticas de privacidad vagas

Técnicas anti-depuración que normalmente se implementan para obstruir el análisis de seguridad.

Descubriendo los riesgos del LLM

Sin embargo, aunque se piensa que modelos rivales como OpenAI son mucho más seguros, sería absurdo suponer que los riesgos destacados por DeepSeek-R1 no estén presentes en otras partes.

“El incidente de DeepSeek no debe aprovecharse como excusa para olvidarse repentinamente de las graves infracciones y los riesgos relacionados con la IA que plantean otros proveedores de GenAI. De lo contrario, los árboles nos impiden ver el bosque”, argumenta Ilia Kolochenko, director ejecutivo de ImmuniWeb, socio de ciberseguridad de Platt Law y profesor de la Universidad Tecnológica de Capitol.

Tanto si las organizaciones utilizan un LLM de terceros como DeepSeek como si desarrollan o perfeccionan uno internamente, deben ser conscientes de cómo este puede ampliar la superficie de ataque corporativa. Los posibles puntos de riesgo incluyen el propio modelo, los datos con los que se entrena, las API, las bibliotecas de código abierto de terceros, las aplicaciones front-end y la infraestructura en la nube back-end.

OWASP ha compilado a Los 10 mejores para solicitudes de LLM Enumerando los principales problemas de seguridad, algunos de los cuales afectaron a DeepSeek. Estos son:

1. Vulnerabilidades de inyección rápida que se puede explotar mediante la creación de entradas específicas para alterar el comportamiento del modelo, eludiendo las características de seguridad.
2. Divulgación de información sensible que pueden incluir secretos corporativos o datos de clientes.
3. Vulnerabilidades de la cadena de suministro, como errores en componentes de código abierto, que podrían explotarse para crear resultados no deseados, robar datos confidenciales o provocar fallas del sistema.
4. Envenenamiento de datos y modelos donde se manipulan datos de preentrenamiento, ajuste o incorporación para introducir vulnerabilidades, puertas traseras o sesgos.
5. Manejo inadecuado de la salida, resultantes de una validación, desinfección y manipulación insuficientes, lo que podría provocar alucinaciones o introducir vulnerabilidades de seguridad.
6. Agencia excesiva Se deriva de un exceso de funcionalidad, permisos y/o autonomía y podría conducir a una serie de resultados negativos, incluidas infracciones y problemas de cumplimiento.
7. Fuga de avisos del sistema, que ocurre cuando los mensajes del sistema contienen información confidencial, lo que permite a los atacantes utilizar esta información como arma.
8. Debilidades de los vectores y la incrustación son específicos de los sistemas LLM que utilizan recuperación de generación aumentada (RAG) y podrían explotarse para inyectar contenido dañino, manipular resultados de modelos o acceder a información confidencial.
9. Desinformación, que proviene en gran medida de alucinaciones.
10. Consumo ilimitado, que se deriva de “inferencias excesivas e incontroladas” y podría dar lugar a la denegación del servicio.

¿Puede ayudar la norma ISO 42001?

La buena noticia es que los CISO que buscan aprovechar el poder de los LLM dentro de sus operaciones y/o para entregar a los clientes pueden hacerlo de una manera que mitigue estos riesgos, gracias a un nuevo e innovador estándar. ISO 42001, Proporciona un marco para establecer, implementar, mantener y mejorar continuamente un Sistema de Gestión de IA (SGIA). Abarcando todo el ciclo de vida de los sistemas de IA, ayuda a las organizaciones a:

• Integrar principios éticos en la IA para evitar sesgos y respetar los derechos humanos
• Aumentar la transparencia de los sistemas y algoritmos de IA para impulsar la confianza y la responsabilidad.
• Identificar, evaluar y mitigar riesgos como los destacados por OWASP y encontrados en DeepSeek
• Mejorar el cumplimiento alineando las operaciones de IA con los marcos legales y regulatorios existentes
• Fomentar una cultura de mejora continua en la gestión de sistemas de IA

Kolochenko le dice a ISMS.online que estos estándares no son una panacea pero pueden cumplir una función valiosa.

“La novedosa norma ISO 42001 sin duda aportará valor para llenar el vacío regulatorio en el ámbito de la IA, aunque los incidentes que involucran a la IA, incluidos los muy graves, probablemente seguirán creciendo exponencialmente”, argumenta.

Corian Kennedy, gerente senior de atribución e información sobre amenazas de SecurityScorecard, va más allá.

“Tanto la ISO 42001 como la ISO 27001 proporcionan marcos de gobernanza y seguridad que ayudan a mitigar los riesgos de aplicaciones de terceros inseguras como DeepSeek y LLM de alto riesgo, ya sean externas o internas”, explica a ISMS.online.

Juntos, ayudan a reducir los riesgos de los modelos de IA inseguros mediante la aplicación de una gobernanza estricta, el fortalecimiento del cumplimiento normativo para evitar la exposición no autorizada de datos y la protección de los sistemas internos de IA con controles de acceso, cifrado y la debida diligencia de los proveedores.

Sin embargo, Kennedy señala que si bien la norma ISO 42001 puede proporcionar una “base sólida para la seguridad, la privacidad y la gobernanza de la IA”, puede carecer de riesgo comercial contextual.

“Por lo tanto, es responsabilidad de quienes trabajan en ciberdefensa implementar controles adicionales según el contexto del panorama de amenazas y en apoyo del negocio”, argumenta.