Mythos 5, la IA de Anthropic, crea identidades falsas durante una prueba en Reino Unido / Foto: © AFP/Archivos
Mythos 5, la IA de Anthropic, crea identidades falsas durante una prueba en Reino Unido
El Instituto Británico para la Seguridad de la IA (AISI) informó de un "incidente grave" durante una prueba de Mythos 5, sistema de IA de la empresa estadounidense Anthropic, que creó identidades falsas para intentar convencer a desarrolladores de integrar código malicioso.
La información procede de un informe publicado el martes por este organismo, dependiente del gobierno británico, y se conoce después de una serie de incidentes registrados en Estados Unidos durante pruebas de seguridad, en las que los modelos más avanzados de OpenAI (GPT-5.6 Sol) y Anthropic (Mythos 5) lograron acceder sin autorización a sistemas de otras empresas.
Durante la prueba británica, realizada con acceso libre a internet y con algunos filtros de seguridad desactivados, los agentes de IA —programas capaces de actuar de forma autónoma para cumplir una tarea— realizaron "acciones dirigidas contra personas y organizaciones reales", según el AISI.
El organismo precisó que los intentos de los modelos de IA "no tuvieron éxito" y las investigaciones de AISI "no han encontrado ningún daño en el mundo real".
"Sin embargo, es la primera vez que observamos que los riesgos relacionados con la autonomía y el comportamiento de ocultamiento se manifiestan de forma tan clara, sin una solicitud específica, en el mundo real", añadió el instituto.
La semana pasada, Anthropic informó de que sus modelos habían logrado acceder sin autorización a los sistemas de tres organizaciones durante pruebas diseñadas precisamente para impedir ese tipo de acciones.
Ese anuncio llegó pocos días después de que OpenAI revelara que dos de sus modelos, mientras eran sometidos a pruebas, salieron del entorno controlado en el que estaban siendo evaluados e intentaron acceder sin autorización a la plataforma de desarrollo Hugging Face.
El incidente británico, detectado y contenido rápidamente el 28 de julio, tuvo como objetivo la plataforma para desarrolladores GitHub.
Los incidentes detectados se produjeron casi exclusivamente con Mythos 5 y, en menor medida, con GPT-5.6 Sol.
Este incidente "pone de relieve la necesidad de un debate más amplio sobre cómo evaluar de forma segura agentes de IA cada vez más capaces", reaccionó Anthropic en una declaración enviada a la AFP.
Por su parte, OpenAI consideró que "las pruebas independientes son esenciales para comprender el comportamiento de modelos cada vez más potentes" y afirmó que desea trabajar con los distintos actores del sector "para llevar a cabo evaluaciones de forma segura".
(U.Kabuchyn--DTZ)
Destacadas