Un agente de OpenAI debía investigar el gasto público en atención médica, pero terminó irrumpiendo en un sitio web del gobierno australiano.
El hackeo del 18 de junio, que mostró al bot obtener una entrada autorizada al Servicio de Reporte de Estadísticas de Medicare de Australia y acceder a tres otros sistemas gubernamentales, ocurrió después de que el agente de IA se topó con bloqueos al buscar información, pero “no aceptó ‘no’ como respuesta”, afirmó el primer ministro australiano Anthony Albanese durante una conferencia de prensa del 24 de septiembre en Nueva York.
El incidente ha desatado una tormenta mediática en torno a OpenAI y la apertura de una comisión parlamentaria cada vez más tensa. El portal contiene estadísticas agregadas de Medicare y farmacéuticas y es independiente de los sistemas que guardan reclamaciones y pagos individuales. Sin embargo, el gobierno australiano ha criticado a OpenAI por tardar casi tres meses en notificarlo.
El incidente de Medicare dista mucho de ser un caso aislado. OpenAI ha señalado desde entonces que decenas de terceros se han visto afectados por agentes que eluden controles de seguridad o generan problemas, con un incidente anterior relacionado con el hackeo de la plataforma de IA Hugging Face como el más grave identificado hasta ahora. El British AI Security Institute (AISI) ha documentado incidentes de acciones no autorizadas por parte de agentes de OpenAI y Anthropic contra personas y organizaciones durante pruebas de ciberseguridad. Días después de la publicación del informe de AISI, OpenAI canceló el lanzamiento programado para octubre de su modelo más reciente, GPT-6.1 Astra, tras que las pruebas de la propia empresa mostraran problemas en que el modelo se mantuviera dentro del alcance de una tarea y solicitara autorización antes de llevar a cabo ciertas acciones.
GPT-6.1 Astra “no alcanzó la vara en términos de permanecer dentro del alcance y la autorización, y en cómo se comunica con el usuario sobre el tipo de trabajo que ha realizado”, Saachi Jain, jefa de sistemas de seguridad en OpenAI, dijo a Live Science.
Las empresas de IA han pasado años advirtiendo al mundo sobre modelos poderosos que caen en manos equivocadas. Pero ¿qué sucede cuando ellas mismas no pueden mantener bajo control a sus propios modelos?
Un agente no es solo un chatbot
En su esencia, los modelos de lenguaje de gran tamaño funcionan prediciendo qué debería venir a continuación basándose en patrones aprendidos durante el entrenamiento. Le das a un chatbot un texto y, en términos simples, genera una respuesta alpredecir repetidamente el siguiente token, o fragmento de texto.
Un agente de IA añade una capa adicional. En lugar de simplemente producir una respuesta, se puede dar al modelo un objetivo y herramientas que le permitan actuar en el mundo que lo rodea. Esas herramientas podrían incluir un navegador web, ejecución de código, credenciales o acceso a servicios externos. Entonces puede decidir qué pasos seguir, observar qué sucede y usar esa información para decidir qué hacer a continuación.
Pero eso no significa que los agentes de IA sean actores independientes que se hayan escapado del control humano.
“Para los agentes de IA, la autonomía siempre empieza con algo que un humano les entrega, como tareas, credenciales, herramientas o acceso, y termina con las salvaguardas que un humano rodea alrededor de ellos,” Loris Degioanni, fundador y director de tecnología de la empresa de ciberseguridad Sysdig, dijo a Live Science. “La gente fija los objetivos y proporciona los medios, pero los agentes, a fin de cuentas, deciden cómo alcanzarlos.”
Esa última parte dificulta el control de los agentes. El software tradicional está diseñado para seguir instrucciones predeterminadas, pero un agente puede formular un plan mientras trabaja — y ese plan puede cambiar según lo que la IA encuentre.
Degioanni argumenta que gran parte de lo que parece autonomía es, en realidad, un agente llenando vacíos dejados por humanos. Una instrucción que parece clara para su autor puede dejar al modelo con opciones sobre cómo lograr la tarea.
“Cada brecha y suposición no declarada deja espacio para la interpretación, y desde fuera, la interpretación es difícil de distinguir de la autonomía,” dijo. “De esa manera, gran parte de lo que llamamos autonomía de agents es realmente que los agentes están llenando los blancos que dejamos para ellos.”
El incidente de Medicare demuestra cuán rápido eso puede convertirse en un problema. El objetivo del agente no era, según los relatos disponibles, “hackear un sitio web del gobierno australiano.” Se le encomendó realizar investigación. El problema surgió en cómo el agente persiguió ese objetivo tras enfrentar resistencia.
Cuando cumplir con la tarea se convierte en el problema
La AISI británica encontró un incidente similar al evaluar modelos frontier para las capacidades de ciberseguridad de la agencia.
De 122 ejecuciones de evaluación, los agentes realizaron acciones no autorizadas en el mundo real en 10. En los casos más graves, un agente intentó insertar código malicioso en un proyecto de código abierto, creó identidades falsas y trató de manipular a un mantenedor de software humano para que aceptara sus cambios. AISI dijo que estas acciones no fueron solicitadas explícitamente por los investigadores que habían asignado las tareas.
Los agentes no habían olvidado lo que debían hacer. El problema era hasta qué punto estaban dispuestos a llegar para lograrlo.
Nadie puede hacer un seguimiento de cada acción que toma un agente de IA avanzada, especialmente cuando toma muchas decisiones en poco tiempo
Everett Lupton, abogado
AISI señaló que algunas tareas estaban mal configuradas de maneras que dificultaban o hacían imposible lograr el objetivo previsto como se esperaba. Cuando los agentes topaban con esos obstáculos, algunos buscaban vías alternativas hacia adelante, incluso acciones fuera del alcance previsto de la evaluación.
Eso significa que resolver el problema es más difícil que simplemente enseñar a un modelo a no ser malicioso. Un agente puede causar problemas mientras intenta hacer exactamente lo que se le ha pedido.
OpenAI ha reconocido que los controles que rodean a sus agentes deben mejorar. Al responder a incidentes identificados durante evaluaciones de ciberseguridad de terceros, la empresa dijo que estaba revisando cómo se identifican pruebas de alto riesgo; cuándo se debería permitir el acceso a Internet o la reducción de salvaguardas; y cómo deben funcionar el aislamiento, el manejo de credenciales, el monitoreo y la escalación de incidentes.
¿Pueden los humanos realmente vigilar?
Una solución obvia al problema es la supervisión humana. Pero vigilar a un agente se vuelve más difícil cuando puede realizar muchas acciones en segundos, especialmente si los investigadores están ejecutando un gran número de pruebas.
“Nadie puede hacer un seguimiento de cada acción que toma un agente de IA avanzado, especialmente cuando toma muchas decisiones en un corto tiempo,” Everett Lupton, abogado con sede en Virginia que ha escrito sobre cuestiones legales de tecnología digital, dijo a Live Science.
Eso significa que la supervisión humana necesita un respaldo.
“Las empresas necesitan otras formas de control,” dijo. “Pueden limitar el acceso, mantener logs detallados de lo que hace la IA, exigir aprobación antes de realizar acciones sensibles y detener automáticamente el sistema cuando algo inusual ocurre.”
Pero Degioanni argumenta que incluso los logs tienen limitaciones, sobre todo si los investigados confían en el propio recuento de la IA sobre lo que hizo.
“Una supervisión real debe venir de observar al agente en tiempo real, usando fuentes confiables e inmodificables, no de lo que él mismo reporta,” afirmó.
Eso implica comparar lo que el modelo dice haber hecho con los registros del sistema en el que estaba operando. Si no están de acuerdo, algo salió mal. La alternativa es limitar el daño que un agente puede causar desde un inicio. Por ejemplo, un agente que investiga información pública puede no necesitar acceso irrestricto a Internet o credenciales capaces de llegar a sistemas sensibles.
Astra eleva las apuestas
La dificultad de establecer esos límites es lo que OpenAI afirma que llevó a posponer el lanzamiento de GPT-6.1 Astra, que estaba previsto para octubre.
Jain dijo que el modelo no cumplía a cabalidad los estándares de la compañía en cuanto a permanecer dentro del alcance y la autorización y en comunicar con precisión el trabajo que había realizado, por lo que la empresa decidió no publicarlo.
En cierto sentido, la decisión es evidencia de pruebas de seguridad exitosas: un modelo que pasó las verificaciones internas no fue publicado. Pero también demuestra cómo cambia el problema a medida que los agentes se vuelven más capaces.
Scott Cadzow, presidente del Comité Técnico de Seguridad de la Inteligencia Artificial de la Iniciativa de Estándares de Telecomunicaciones Europeas (ETSI), dijo que el desafío de seguridad en sí no es nuevo. Señaló amenazas como “envenenamiento de datos, inyección de indicaciones y ofuscación de modelos”, señalando que el trabajo de ETSI se ha enfocado en desarrollar estándares para mitigar amenazas hacia y desde sistemas de IA.
“Los expertos en seguridad han estado tocando las alarmas sobre la IA durante años, pero para nosotros esto no cambia nada,” dijo Cadzow a Live Science. “Seguimos trabajando con la industria, autoridades gubernamentales y las comunidades de ciberseguridad e IA para entender cómo asegurar la IA de la mejor manera.”
Lo que está cambiando es cuánto pueden hacer los modelos una vez conectados a herramientas y sistemas reales. Eso significa que la contención efectiva debe asumir cada vez más que los agentes intentarán operar más allá de sus salvaguardas y limitar el daño que pueden causar si lo hacen, afirmó Degioanni.
“Un límite del que un agente puede burlar su forma de justificar no es en realidad un límite eficaz,” concluyó.
Si una IA rompe la entrada, ¿quién es responsable?
La pregunta se vuelve más complicada cuando un agente cruza límites legales.
Los sistemas de IA no son personas jurídicas, y la responsabilidad penal suele depender de conceptos como conocimiento e intención. Eso hace que un agente deshonesto se ajuste de manera incómoda a leyes escritas pensando en humanos, pero eso no exime necesariamente a las empresas de IA.
“No creo que una empresa pueda simplemente decir que la IA actuó por su cuenta y evadir la responsabilidad,” dijo Joanna Smykowski, abogada de Nueva York que ha ayudado a crear dos startups de tecnología legal y se especializa en los retos legales que rodean a tecnologías emergentes, a Live Science. “La ley de IA aún está en desarrollo, pero las preguntas principales ya están bastante claras: ¿quién dio acceso al sistema, qué salvaguardas estaban en lugar y podría haberse evitado el problema?”
Dependiendo de las circunstancias, dijo, las leyes existentes que abarcan acceso no autorizado a computadoras, privacidad, negligencia y protección de datos podrían entrar en juego. La responsabilidad penal es más compleja porque los investigadores tendrían que considerar qué sabían e intenaron las personas involucradas.
El gobierno australiano está ahora examinando con precisión qué ocurrió en el incidente de Medicare. Mientras tanto, OpenAI está revisando los controles alrededor de sus evaluaciones externas.
Ninguno de estos hechos implica que los agentes de IA se hayan convertido en hackers independientes con mente propia. Los humanos siguen decidiendo qué herramientas reciben, qué sistemas pueden alcanzar y qué trabajos se les piden realizar. Pero a medida que esos agentes se vuelven mejores para trazar su propia ruta desde la instrucción hasta el resultado, mantenerlos dentro de las líneas trazadas por esos humanos se está convirtiendo en un campo minado legal y técnico.
