Cómo un nuevo código de prácticas podría ayudar a mitigar los riesgos de la IA

El gobierno británico está apostando fuerte por la IA. Dado el estado de las finanzas públicas y una caída prolongada de la productividad nacional, en muchos sentidos, tiene que hacerlo. Plan de acción de oportunidades de IA El plan anunciado en enero tiene mucho que recomendar. Sin embargo, donde hay oportunidades, también hay riesgos.

Por eso es alentador ver que el gobierno también está tomando medidas concretas para mejorar la seguridad del ecosistema de IA. Anunciado Apenas quince días después del plan de acción, un nuevo código de prácticas, "el primero del mundo", ayudará a orientar a los desarrolladores, operadores de sistemas y otras partes interesadas en la creación, implementación, mantenimiento y supervisión de sus sistemas de IA de acuerdo con las mejores prácticas de seguridad. Se espera que el código acabe formando la base de una nueva norma internacional del ETSI.

Por qué lo necesitamos

Aunque la tecnología avanza rápidamente, ya conocemos algunas de las principales amenazas que la IA plantea a las empresas si no se diseña de forma segura. Entre ellas se incluyen:

• Ataques de inyección rápida que permiten a los actores maliciosos eludir las barreras de seguridad integradas para abusar de los modelos de lenguaje extensos (LLM) con fines nefastos. La red oscura Según se informa, ya está inundado con ofertas de “jailbreak como servicio” que permiten exactamente esto.
• Vulnerabilidades y configuraciones incorrectas en los componentes del sistema de IA, que podrían explotarse o usarse para robar o “envenenar” datos o modelos de entrenamiento confidenciales. Estos agujeros de seguridad Ya han sido descubiertos a lo largo de toda la cadena de suministro, incluso en bases de datos vectoriales, componentes de código abierto y plataformas de alojamiento LLM.
• Denegación de servicio, si un atacante introduce una entrada inusualmente grande en un LLM
• Divulgación de datos confidenciales (por ejemplo, datos de clientes) a través de la respuesta a un mensaje del usuario, ya sea de forma involuntaria o maliciosa

La verdad es que los sistemas de IA modernos amplían una superficie de ciberataque corporativa ya amplia, que incluye API, modelos LLM, código fuente abierto, conjuntos de datos de entrenamiento, interfaces front-end e infraestructura en la nube. El riesgo de malversación aumenta a medida que se integran en más procesos y aplicaciones comerciales. Los 10 mejores candidatos para el Máster en Derecho de OWASP Es un buen comienzo, pero no es una lista exhaustiva de los riesgos de seguridad relacionados con la IA.

Para quien es

El código de prácticas se aplica a una serie de partes interesadas clave, entre ellas:

• Proveedores de software que ofrecen servicios de inteligencia artificial a los clientes
• Proveedores de software que utilizan IA internamente, ya sea que haya sido creada internamente o por un tercero.
• Organizaciones regulares que crean sistemas de IA para uso interno
• Organizaciones regulares que solo utilizan componentes de IA de terceros para uso interno

Es probable que solo los “proveedores de IA” que venden modelos o componentes pero que en realidad no los desarrollan ni implementan queden fuera del “alcance” de este código.

¿Qué hay en el código?

El código de prácticas se divide en 13 “principios” que abarcan cada etapa del ciclo de vida de la IA, desde el diseño hasta el desarrollo, la implementación, el mantenimiento y el fin de la vida útil. Son los siguientes:

1. Crear conciencia de las amenazas y los riesgos de seguridad de la IA mediante la capacitación del personal de ciberseguridad y una base de empleados más amplia.
2. Diseñar sistemas de IA para la seguridad, la funcionalidad y el rendimiento basados ​​en una planificación exhaustiva y evaluaciones de riesgos.
3. Evaluar/modelar amenazas y gestionar los riesgos relacionados con el uso de IA a través de controles de seguridad y monitoreo continuo.
4. Permitir la responsabilidad humana y supervisión de los sistemas de IA.
5. Identificar, rastrear y proteger activos a través de un inventario integral y herramientas de seguimiento que tengan en cuenta las interdependencias y la conectividad.
6. Infraestructura segura como API, modelos, datos y canales de capacitación y procesamiento. Esto debe incluir una política de divulgación de vulnerabilidades y planes de recuperación del sistema y gestión de incidentes.
7. Proteja la cadena de suministro de software a través de evaluaciones de riesgos, controles de mitigación y documentación.
8. Documentar datos, modelos y avisos con un registro de auditoría claro del diseño del sistema y de los planes de mantenimiento posteriores a la implementación. Será necesaria la documentación para disipar las preocupaciones sobre el envenenamiento de datos cuando se utilicen datos de capacitación públicos.
9. Realizar pruebas y evaluaciones apropiadas cubriendo todos los modelos, aplicaciones y sistemas antes de su implementación a través de probadores independientes.
10. Implementar de forma segura Informando a los usuarios finales sobre cómo se utilizarán, accederán y almacenarán sus datos. Las partes interesadas también deben proporcionar actualizaciones relevantes para la seguridad, orientación sobre la gestión y la configuración, y asistencia para contener y mitigar el impacto de cualquier incidente.
11. Mantener actualizaciones de seguridad periódicas, parches y mitigaciones.
12. Monitorizar el comportamiento del sistema registrando las acciones del sistema y del usuario y detectando anomalías, violaciones de seguridad o comportamiento inesperado a lo largo del tiempo.
13. Asegúrese de la eliminación adecuada de datos y modelos al desmantelar o transferir la propiedad de un modelo o datos de entrenamiento.

Colocando los elementos básicos en su lugar

La buena noticia es que las normas de ciberseguridad de mejores prácticas pueden ayudar a las organizaciones a cumplir con el código. La norma ISO 27001 se cita en el propio documento, pero David Cockcroft, gerente del sector de seguridad de la información en ISOQAR, afirma que la norma ISO 42001 es la más adecuada. Esta norma relativamente nueva está diseñada para ayudar a las organizaciones a establecer, implementar, mantener y mejorar continuamente un sistema de gestión de inteligencia artificial (AIMS).

“Los vínculos fundamentales con la norma ISO 42001 son evidentes desde el principio. La audiencia y las partes interesadas dentro del código de prácticas están directamente vinculadas al contexto organizacional y al papel de la organización en el ciclo de vida de la IA que se encuentra en la norma”, comenta a ISMS.online.

“Todos los principios del código de prácticas se pueden aplicar a las cláusulas y controles de la norma 42001”.

Andreas Vermeulen, director de IA de Avantra, está de acuerdo.

“Al integrar la ISO 42001 con los estándares de seguridad actuales, las organizaciones pueden mejorar el cumplimiento del código, garantizando que los riesgos operativos y de seguridad específicos de la IA se aborden adecuadamente, mejorando así la postura de seguridad general de la IA”, comenta a ISMS.online.

“El Reino Unido está dando un buen ejemplo al establecer directrices integrales que garantizan la implementación segura de tecnologías de IA. Estas iniciativas lo posicionan como líder en el desarrollo responsable de sistemas de IA”.

En ISMS.online, Ya lo hemos cuestionado anteriormente Si los ambiciosos planes de inteligencia artificial del gobierno también podrían inyectar riesgos cibernéticos en la infraestructura y las aplicaciones necesarias para impulsar su tan promocionada “década de renovación nacional”, es bueno ver que se publican algunas orientaciones útiles junto con promesas a menudo vagas de crecimiento impulsado por la tecnología.

“El nuevo código de prácticas, que hemos elaborado en colaboración con socios globales, no solo ayudará a mejorar la resiliencia de los sistemas de IA contra ataques maliciosos, sino que también fomentará un entorno en el que la innovación en IA del Reino Unido pueda prosperar”, afirma el director técnico del NCSC, Ollie Whitehouse.

A medida que el código madure y evolucione hasta convertirse en un estándar internacional, podría convertirse en la base de facto para la seguridad de la IA durante algún tiempo.