La IA generativa (GenAI) ha alcanzado cotas altísimas de expectación en el sector desde su irrupción a finales de 2022. Ahora está entrando en lo que Gartner denomina «el valle de la desilusión», ya que las implementaciones no logran cumplir con las expectativas desorbitadas. En 2023, McKinsey estimó Se estimaba que GenAI podría generar entre 2.6 y 4.4 billones de dólares anuales en 63 casos de uso. Sin embargo, menos de un año después, menos del 30 % de los líderes en IA afirmaban que GenAI podría aportar el equivalente a entre 2,6 y 4,4 billones de dólares anuales en 63 casos de uso. Según Gartner, sus directores ejecutivos estaban satisfechos con el retorno de la inversión de los proyectos.

Peor aún, los riesgos empresariales asociados al uso de esta tecnología pueden ser considerables. Que se lo pregunten a Deloitte Australia, que recientemente fue criticada por incluir errores generados por IA en un informe del gobierno federal que ella misma elaboró. A medida que las organizaciones se apresuran a adoptar esta tecnología para obtener una ventaja competitiva, las medidas de control de la gobernanza se vuelven esenciales.

Deloitte quedó en ridículo

El informe de 237 páginas elaborado por Deloitte se publicó originalmente en el sitio web del Departamento de Empleo y Relaciones Laborales en julio. de acuerdo a los informesSus hallazgos sugerían una discrepancia entre los sistemas utilizados por el gobierno para erradicar el fraude en las ayudas sociales y los objetivos políticos reales. Sin embargo, el investigador universitario Chris Rudge detectó que algo no cuadraba.

Tras una investigación más exhaustiva, según se informa, encontró 20 errores en el informe, entre ellos:

  • Una cita inventada de un juez federal, cuyo apellido estaba mal escrito.
  • Diez referencias de un libro titulado El Estado de Derecho y la Justicia Administrativa en el Estado del Bienestar, que en realidad no existe.
  • Atribución errónea de ese libro a un profesor de la Universidad de Sídney
  • Referencias a informes inexistentes atribuidas a expertos legales y de ingeniería de software

En respuesta, Deloitte Australia se limitó a declarar que el asunto se había resuelto directamente con el cliente. Sin embargo, el gobierno informó que la consultora había acordado reembolsar parte de los honorarios de 440 000 dólares australianos (290 000 dólares estadounidenses) por el proyecto. En una versión actualizada del informe, aparentemente se corrigieron los errores y se añadió una nueva aclaración indicando que se utilizó Azure OpenAI para su elaboración.

Alucinaciones y más

Deloitte Australia no es la única empresa que se siente incómoda con la IA en el trabajo. Un informe de abril de su competidora KPMG revela queSi bien el 67% de los empleados utilizan la IA para mejorar su productividad, casi seis de cada diez (57%) admiten haber cometido errores en su trabajo debido a errores generados por la tecnología.

Las alucinaciones representan un desafío constante, sobre todo al usar herramientas de IA de acceso público para tareas que requieren un alto grado de especialización. A veces, aunque no siempre, se deben a datos de entrenamiento incompletos o incorrectos. El riesgo radica en que la IA, con tal grado de confianza, puede llevar a que una persona sin experiencia caiga en la trampa de la alucinación.

Sin embargo, las alucinaciones no son el único riesgo derivado del uso de la IA en el entorno laboral. Los usuarios podrían compartir accidentalmente propiedad intelectual confidencial de la empresa o información de clientes en las interacciones con un modelo público. Esto representa importantes riesgos de fuga de datos e incumplimiento normativo, ya que, en teoría, la misma información podría ser compartida con otros usuarios. Además, existe el riesgo de robo por parte del desarrollador del modelo. Las propias herramientas de IA pueden contener vulnerabilidades o ser blanco de ataques maliciosos diseñados para generar resultados no deseados.

Estos riesgos no son teóricos. El SGSI Informe sobre el estado de la seguridad de la información 2025 El estudio revela que el 26% de las empresas del Reino Unido y Estados Unidos han sufrido un ataque de envenenamiento de datos durante el último año. Además, un tercio (34%) está preocupado por la proliferación de la IA en la sombra dentro de sus organizaciones.

Estos riesgos podrían agravarse con la adopción generalizada de la IA agentiva, diseñada para trabajar de forma autónoma en flujos de trabajo con mucha menos supervisión humana para completar tareas. La preocupación radica en que podría llevar mucho más tiempo detectar cuándo el agente empieza a comportarse de forma extraña o a incumplir las normas.

Para organizaciones como Deloitte Australia, que se encuentran en la situación de vulnerabilidad, el uso no regulado de la IA podría exponerlas a riesgos reputacionales, financieros y de cumplimiento normativo. En este caso concreto, el impacto económico fue mínimo para una organización del tamaño de Deloitte. Sin embargo, el incidente podría disuadir a los potenciales clientes de firmar acuerdos.

¿ISO 42001 al rescate?

Esta no es la primera vez que las alucinaciones de la IA han avergonzado a individuos y organizaciones que deberían saberlo mejor. En 2023, se supo que un bufete de abogados estadounidense Se citaron casos y citas falsas generadas por ChatGPT en una demanda por lesiones personales. El juez federal de la época lo describió como «una circunstancia sin precedentes». Si bien los desarrolladores trabajan en formas de minimizar este tipo de alucinaciones, cuanto más se utilice la tecnología sin las debidas medidas de control y supervisión, mayor será la probabilidad de que otras empresas sigan el ejemplo de Deloitte Australia.

Para Ruth Astbury, cofundadora de ExpandAI, el caso “es un claro recordatorio de que el riesgo de la IA no es solo técnico, sino también organizativo y afecta a todas las áreas de la gestión de riesgos empresariales”. Argumenta que faltaba “gobernanza, rendición de cuentas y supervisión humana continua” suficientes, lo que en última instancia alimentó un incidente que podría causar un tremendo daño a la reputación de la empresa.

«Cuando se implementan herramientas de IA sin una propiedad definida, límites éticos ni políticas de uso claras, no se está innovando, sino poniendo en riesgo la reputación de la marca», explica a ISMS.online. «Los riesgos empresariales de una IA sin control abarcan desde filtraciones de datos y sesgos hasta incumplimientos normativos y pérdida de la confianza de los clientes».

Aunque la IA puede ayudar a los investigadores, nunca debería sustituir la revisión, el perfeccionamiento y la verificación de los hechos tradicionales, añade Astbury. «Lo sorprendente es que esto haya ocurrido en una de las cuatro grandes consultoras», continúa. «Los socios y consultores sénior de IA conocen a la perfección sus áreas de especialización. Pueden, y deben, reconocer referencias o afirmaciones en informes que nunca han visto o que son claramente producto de la imaginación».

La respuesta podría ser la norma ISO 42001, que fue diseñada para ayudar a las organizaciones a establecer, implementar, mantener y mejorar continuamente los sistemas de gestión de IA.

“La solución es sencilla: las organizaciones necesitan un enfoque estructurado para la gestión de riesgos de la IA, políticas claras, una toma de decisiones transparente y formación del personal que incorpore la responsabilidad en todos los niveles. Aquí es donde entra en juego la gobernanza de la IA, respaldada por un marco de gestión de la IA como la norma ISO/IEC 42001”, explica Astbury.

“La norma ISO/IEC 42001 proporciona un sistema de gestión para la IA, de forma similar a como la ISO 27001 lo hace para la seguridad de la información, garantizando que la gobernanza continua de la IA, la gestión de riesgos, la monitorización y el diseño ético estén integrados en cada iniciativa de IA.”

Todavía queda un largo camino por recorrer antes de que las herramientas de IA empiecen a tener éxito. El famoso Gartner Meseta de productividad. Pero para alcanzarla, las organizaciones deberán comprender que la experiencia humana siempre será un requisito previo para los casos de uso exitosos.