La UE es sin duda el líder mundial actual en lo que respecta a la regulación de la IA. Por muy defectuoso que sea su nuevo Ley de IA tal vez, representa un logro significativo. El Reino Unido está adoptando un enfoque más no intervencionista, a pesar de señalar su ambición de ser un actor global responsable, al convocar la Cumbre Mundial de Seguridad de la IA en noviembre del año pasado. Poco después, su Centro Nacional de Seguridad Cibernética (NCSC) produjo un nuevo conjunto de pautas para el desarrollo seguro de sistemas de IA.

Aclamadas por la Agencia de Seguridad de Infraestructura y Ciberseguridad de EE. UU. (CISA) como un “hito clave”, las directrices son un excelente primer paso para ayudar a los desarrolladores a incorporar principios de seguridad por diseño en su trabajo. La mejor noticia es que pueden utilizar las mejores prácticas existentes para ayudarles.

¿Qué implican las directrices del NCSC?

El nuevo documento es relevante para los proveedores de cualquier sistema que contenga IA, ya sea que hayan sido construidos desde cero o sobre servicios existentes. También han sido respaldados por Amazon, Google, Microsoft y OpenAI, así como por muchos otros países, incluidos todos los del G7, además de Chile, Chequia, Estonia, Israel, Nigeria, Noruega, Polonia, Singapur y Corea del Sur. Las directrices se dividen en cuatro secciones:

Diseño seguro

Las consideraciones en la primera etapa del desarrollo de la IA incluyen:

  • Crear conciencia sobre las amenazas y los riesgos entre los científicos de datos, los desarrolladores, los altos directivos y los propietarios de sistemas. Los desarrolladores deberán recibir capacitación en técnicas de codificación segura y prácticas de IA seguras y responsables.
  • Aplicar un "proceso holístico" para evaluar las amenazas al sistema de IA y comprender el impacto potencial para el sistema y los usuarios/sociedad si la IA se ve comprometida o se comporta "inesperadamente".
  • Diseñe el sistema tanto en términos de seguridad como de funcionalidad y rendimiento. Esto requerirá una cadena de suministro Gestión sistemática del riesgo, y la integración del desarrollo de sistemas de software de IA en las prácticas seguras existentes
  • Comprenda las ventajas y desventajas de la seguridad al elegir un modelo de IA. La elección de la arquitectura del modelo, la configuración, los datos de entrenamiento, el algoritmo de entrenamiento y los hiperparámetros deben realizarse de acuerdo con el modelo de amenazas de la organización y reevaluarse periódicamente.

Desarrollo seguro

En la etapa de desarrollo, considere:

  • Evaluación y seguimiento de la seguridad de la cadena de suministro durante todo el ciclo de vida del sistema de IA. Los proveedores deben cumplir con los mismos estándares que la organización aplica a otro software.
  • Identificar, rastrear y proteger activos relacionados con la IA, incluidos modelos, datos, indicaciones, software, documentación, registros y evaluaciones.
  • Documentar la creación, operación y gestión del ciclo de vida de modelos, conjuntos de datos y metaindicaciones.
  • Gestión y seguimiento de la deuda técnica a través del ciclo de vida del modelo de IA.

Implementación segura

En la etapa de implementación, observe:

  • Asegurar la infraestructura de acuerdo con los principios de mejores prácticas, como controles de acceso para API, modelos y datos, y segregación de entornos que contienen código confidencial
  • Protección continua del modelo mediante mejores prácticas frente al acceso directo e indirecto.
  • Desarrollo de la gestión de incidencias procedimientos
  • Lanzar modelos, aplicaciones o sistemas solo después de una evaluación de seguridad, como ejercicios del equipo rojo.
  • Implementar una configuración segura de forma predeterminada, para que sea más fácil para los usuarios hacer lo correcto

Operación y mantenimiento seguros

En la etapa operativa, el NCSC sugiere que las organizaciones:

Cómo puede ayudar un SGSI

Un sistema de gestión de seguridad de la información (SGSI) puede ser de gran ayuda para garantizar que los sistemas y el uso de IA de una organización sean seguros, resilientes y confiables, según Sam Peters, CTO de ISMS.online. Sostiene que el cumplimiento de la norma ISO 27001 ofrece una “cultura de seguridad de la información escalable y de arriba hacia abajo” basada en una “seguridad basada en procesos y basada en riesgos”, que puede ayudar a los desarrolladores que deseen seguir las directrices del NCSC.

"La belleza de ISO 27001 es que enmarca la seguridad de la información como una cuestión de gobernanza organizacional", dice Peters a ISMS.online.

“Al adoptar este enfoque de gobernanza para la estrategia de seguridad de la IA, las organizaciones pueden estar seguras de que pueden escalar la seguridad de manera sostenible en lugar de limitarse a ponerse al día. Los equipos también tienen claridad sobre las expectativas básicas. En última instancia, esto reduce el riesgo, incluso cuando los sistemas y el uso de la IA se vuelven exponencialmente más complejos”.

Peters ve siete áreas clave de cruce entre ISO 27001 y las directrices NCSC:

Evaluaciones de riesgo:

ISO 27001 exige evaluaciones periódicas de riesgos de seguridad de la información, que pueden ayudar a descubrir vulnerabilidades, amenazas y vectores de ataque en los sistemas de inteligencia artificial.

Policias y procedimientos:

Un SGSI requiere políticas y procesos integrales para gestionar la seguridad. Estos podrían adaptarse a los sistemas de IA y alinearse con las directrices del NCSC.

Controles de acceso:

Basado en roles Los controles de acceso y la gestión de privilegios son requeridos por ISO. 27001 y también podría ayudar a restringir el acceso a activos sensibles de IA, como conjuntos de datos y modelos.

Administración de suministros:

Los requisitos de ISO 27001 para auditorías y acuerdos contractuales pueden ayudar a gestionar los riesgos en las relaciones de terceros con proveedores de IA.

Administracion de incidentes:

La norma ISO también incluye requisitos para Gestión de incidentes que las organizaciones pueden utilizar para responder a la seguridad. Incidentes que afectan a los sistemas de IA.

Seguimiento de la seguridad:

Los controles de registro, monitoreo y alertas necesarios para el cumplimiento de la norma ISO 27001 pueden ayudar a las organizaciones a detectar comportamientos anómalos del sistema de IA y responder a incidentes.

Concientización y capacitación en seguridad:

Los requisitos de ISO 27001 en esta área se pueden ampliar para garantizar que las partes interesadas clave comprendan los desafíos de seguridad únicos de los sistemas de IA y se mantengan informados sobre las últimas amenazas y mejores prácticas.

Los siguientes pasos

"A medida que las tecnologías de IA evolucionan y se integran más en los procesos cotidianos, la superposición entre la seguridad de la IA y la seguridad de la información probablemente crecerá en áreas como la seguridad de los datos, la solidez de los modelos, la explicabilidad y la confidencialidad, todas las cuales se basan directamente en las bases de la seguridad de la información", Peters concluye.

"Esto requerirá un enfoque integral de la seguridad que considere tanto los principios tradicionales de seguridad de la información como los desafíos únicos que plantean las tecnologías de IA".

¿Obtendrán una adopción generalizada las directrices del NCSC? Dado que son voluntarios, aún no hay consenso sobre ese tema. Pero para cualquier organización que desarrolle sistemas de IA, son muy recomendables. Es mejor dedicar tiempo y esfuerzo ahora a diseñar sistemas seguros por diseño, que arriesgarse a sufrir una infracción grave en el futuro. Un incidente de este tipo podría costarle a la organización muchas veces más remediarlo y recuperar su reputación.