¿Qué se puede hacer para recuperar el control a medida que empeora el problema de la IA en la sombra en el sector financiero?
A medida que herramientas como OpenAI ChatGPT volverse omnipresente, sombra IA Es un problema cada vez mayor para el sector financiero. Estas herramientas conllevan múltiples riesgos, como la fuga de datos y las alucinaciones, agravados por el hecho de que, en muchos casos, las empresas financieras ni siquiera saben que las están utilizando.
Dado que la adopción de la IA se está produciendo en los márgenes de las organizaciones a un ritmo más acelerado del que la gobernanza puede seguir, el sector debe aprender a lidiar con este riesgo en constante evolución. ¿Cómo pueden los responsables de seguridad y cumplimiento recuperar el control sobre la IA en la sombra?
Sector expuesto
Como sector altamente regulado que maneja grandes cantidades de datos sensibles, la industria financiera está especialmente expuesta a la IA encubierta. «La industria maneja datos de alto valor y altamente regulados bajo la constante presión de actuar con rapidez», afirma Leslie Nielsen, CISO de Mimecast. «Esta combinación crea las condiciones para que los empleados recurran a cualquier herramienta que les ayude a realizar su trabajo, a menudo antes de que la organización se dé cuenta de lo que está sucediendo».
Sin embargo, esto también puede llevar a que los empleados introduzcan datos altamente sensibles y privilegiados en los modelos de IA. Mark McClain, fundador y director ejecutivo de SailPoint, cita el ejemplo de una herramienta no autorizada utilizada para gestionar el proceso de originación de un préstamo. «Esta herramienta recopilaría datos financieros, analizaría el historial crediticio, prepararía las condiciones, facilitaría la evaluación crediticia y se comunicaría con las partes interesadas».
Sin embargo, sugiere que, si se le deja acceso sin restricciones a los sistemas de la empresa, el agente podría malinterpretar los datos, aprobar préstamos de alto riesgo o exponer inadvertidamente información de los clientes, lo que provocaría infracciones de cumplimiento o daños a la reputación.
Múltiples herramientas de IA
La mayor parte del uso de la IA en la sombra es práctico y está orientado a tareas específicas, ya que los empleados recurren a herramientas que les ayudan a ahorrar tiempo o a reducir el esfuerzo manual en su trabajo diario.
De hecho, la variedad de herramientas que se utilizan en las empresas financieras es mucho mayor de lo que la mayoría de los equipos de seguridad imaginan, afirma Nielsen de Mimecast. «En el sector de los servicios financieros, los empleados utilizan herramientas de uso general como ChatGPT, plataformas de correo electrónico y reuniones con IA, servicios de transcripción y resumen, y herramientas de análisis. Redactan comunicaciones con clientes, resumen documentos y analizan datos, gestionando la carga de trabajo con herramientas que sus empleadores nunca han revisado ni aprobado».
El comportamiento que genera mayor riesgo no es sofisticado, señala. “Los empleados suben documentos a herramientas de IA externas. Reenvían correos electrónicos del trabajo a cuentas personales para acceder a funciones de IA. Pegan información confidencial en las indicaciones porque la herramienta funciona mejor con ella”.
Si bien este tipo de uso de la IA no es malicioso, las funciones de IA, como las que ahora se ofrecen en las cuentas de correo electrónico personales, analizan el contenido automáticamente. «Esto significa que los datos comerciales confidenciales pueden terminar en sistemas de terceros o modelos de entrenamiento sin que nadie se dé cuenta», advierte Nielsen.
No es Shadow IT
El riesgo es preocupante, pero al abordarlo, no se debe confundir la IA en la sombra con la TI en la sombra. Tratarlas como si fueran lo mismo es un error, afirma Nielsen. «La TI en la sombra se refiere a aplicaciones no autorizadas que operan fuera de la supervisión de TI. El riesgo radica principalmente en la visibilidad y el control de las herramientas. La IA en la sombra introduce una segunda capa: los datos que se introducen en esas herramientas, los resultados que se generan y las formas en que esa información puede conservarse, reutilizarse o exponerse».
La IA en la sombra no es simplemente TI en la sombra con un chatbot incorporado, coincide Christopher Jess, gerente sénior de I+D en Black Duck. Menciona riesgos específicos del modelo, como la fuga de datos confidenciales, resultados fabricados pero convincentes, inyección instantánea y funciones de IA integradas en software que ya parece aprobado.
En el sector de los servicios financieros, los riesgos son mayores porque los datos de entrada son más sensibles y las consecuencias regulatorias de la exposición son más graves, afirma Nielsen de Mimecast. “Cuando un empleado envía datos de clientes a una herramienta de IA externa para generar un informe más rápido, el riesgo no reside solo en la herramienta en sí. Se trata de si esos datos se almacenan, quién puede acceder a ellos y si se encuentran dentro de los límites que la organización está obligada a mantener según la normativa Reglamento general de protección de datos (RGPD) u otros marcos normativos.”
Existe también un riesgo más amplio que a menudo se pasa por alto: la rendición de cuentas y la integridad en las decisiones, afirma Nielsen. «Cuando los resultados generados por la IA influyen en las comunicaciones con los clientes o en las decisiones operativas sin una supervisión clara, las organizaciones no pueden demostrar su procedencia ni su exactitud. Esto constituye tanto un problema de gobernanza como de seguridad».
Bloquear la IA
Bloquear las herramientas de IA en el trabajo no ayuda. De hecho, los expertos afirman que puede empeorar las cosas. Los empleados que perciben mejoras claras en la eficiencia suelen buscar alternativas para usar las herramientas de IA o recurrir a métodos más peligrosos para obtener resultados.
“En lugar de utilizar las herramientas comerciales aprobadas, el personal puede recurrir a cuentas personales, extensiones de navegador o plataformas de IA gratuitas con aún menos visibilidad o supervisión”, explica Callum Beckwith, líder técnico de desarrollo de software en Capture Expense. IO.
Al mismo tiempo, que una empresa diga "lo prohibimos" no es una defensa que el regulador vaya a aceptar una vez que la infracción ya se ha producido, añade Ben Jacob-Smith, fundador de Obsessed Group.
“Las organizaciones que se centran exclusivamente en la restricción suelen aumentar el riesgo, en lugar de reducirlo.”
Recuperar el equilibrio
Puede parecer complejo, pero es posible recuperar el equilibrio entre productividad y control garantizando una supervisión continua y utilizando sistemas de gestión integrados.
Como parte de esto, los marcos de gobernanza de la IA pueden ayudar., como ISO 42001, y ISO 27001, para sistemas de gestión de seguridad de la información.
Mientras tanto, el Marco de gestión de riesgos de IA del NIST Según Beckwith, ofrece un punto de partida útil para reflexionar sobre los riesgos y controles específicos de la IA. "Proporciona a las organizaciones una forma estructurada de evaluar cómo se diseñan, utilizan y gestionan los sistemas de IA a lo largo de su ciclo de vida, abordando al mismo tiempo aspectos clave como el manejo de datos, la fiabilidad y la rendición de cuentas.
Las empresas financieras también deben estar al tanto de lo siguiente: Ley de IA de la UE, lo cual se aplica a cualquier empresa del Reino Unido cuyos sistemas de IA tengan contacto con clientes de la UE.
No cabe duda de que el desafío de la IA en la sombra está creciendo a medida que un gran número de herramientas de IA ingresan al mercado. Pero no hay forma de evitarlo. Dado que las herramientas de IA pueden aumentar la productividad, el objetivo de los líderes de seguridad y cumplimiento del sector financiero no es frenar la innovación, sino guiarla de forma segura, afirma Beckwith.
Para ayudar a recuperar el control, Beckwith recomienda crear "procesos estructurados, visibles y controlados" para el uso de la IA. "Esto comienza por comprender dónde se está utilizando la IA en la empresa. A partir de ahí, las organizaciones pueden definir expectativas claras sobre el uso aceptable y el manejo de datos, en consonancia con las normativas y los requisitos de cumplimiento".
Beckwith considera que el objetivo principal debe ser ofrecer a los empleados herramientas eficaces para desempeñar sus funciones. Proporcionar herramientas homologadas elimina la necesidad de soluciones alternativas, mientras que una formación práctica ayuda a los empleados a comprender cómo utilizar la IA de forma responsable en situaciones reales, como la elaboración de resúmenes de políticas internas. «El objetivo no es la perfección, sino un uso controlado, auditable y bien comprendido».
