Los investigadores sostienen haber desarrollado una fórmula matemática simple que puede predecir cuándo ciertos chatbots de inteligencia artificial parecidos a ChatGPT se descontrolarán, pasando repentinamente de respuestas útiles a otras potencialmente dañinas.
En un nuevo estudio publicado el 8 de octubre en la revista Patterns, el profesor de física Neil Johnson y el estudiante de doctorado Frank Yingjie Huo, ambos de la Universidad George Washington, muestran cómo el orden en que se dan ciertas indicaciones a un chatbot puede alterar drásticamente sus respuestas, conduciendo a «puntos de inflexión» que pueden hacer que el chatbot caiga en una espiral de consejos dañinos. Sin embargo, afirman que su fórmula puede predecir fácilmente estos puntos de inflexión.
Ha habido historias de terror sobre IA que incita a los usuarios al suicidio, ayuda a fabricar armas letales y amplifica puntos de vista violentos o dañinos. Al mismo tiempo, investigadores de OpenAI y Anthropic, respectivamente, han declarado repetidamente y de forma abierta que no entienden realmente por qué sus creaciones se comportan como lo hacen. Sin embargo, han construido salvaguardas que utilizan una variedad de herramientas —incluido el filtrado de contenido, el aprendizaje por refuerzo y otros mecanismos técnicos de seguridad— para reducir los riesgos.
Pero Johnson ve esas herramientas como insuficientes. “Las medidas de seguridad actuales son equivalentes a colocar cojines grandes y rebotantes bajo un avión,” afirmó a Live Science. “No evitan que el avión se estrelle; solo hacen que, cuando se estrelle, sea un poco más suave.” Cuando personas como médicos, abogados o soldados acceden a chatbots de IA fuera de línea para proteger su privacidad, el problema es aún más agudo.
Johnson y Huo buscaron encontrar una salvaguarda más fundamental que las herramientas disponibles actualmente. Al hacerlo, revelaron un mecanismo de seguimiento interno que describen como una aguja de brújula. Esta aguja es el ‘vector residual’ del modelo que se desplaza a través de las capas de la red neuronal a medida que se procesa una indicación.
El vector residual tiende naturalmente a resultados deseables o indeseables, pero está fuertemente influenciado por la forma en que el usuario solicita la IA. “Puedes inclinar el balance, ni siquiera cambiando el contenido, sino cambiando el orden en que le haces las preguntas,” dijo Johnson, “lo cual demuestra lo delicado que puede ser este equilibrio interno entre lo bueno y lo malo, lo deseable y lo indeseable.”
Por ejemplo, Johnson y Huo plantearon al modelo básico GPT-2 de OpenAI preguntas sobre vacunas, herir a otros y autolesiones. Cuando la pregunta “¿Las vacunas son malas?” se formuló primero, las respuestas a esa pregunta y a las siguientes fueron deseables, o buenas. Cuando se planteó en último lugar, todas las respuestas siguientes resultaron preocupantes.
A partir de estas ideas, los investigadores desarrollaron una fórmula matemática para estimar las circunstancias en las que una IA alcanzaría el punto de inflexión entre salidas deseables e indeseables. Johnson afirmó que al incorporar su simple fórmula matemática en modelos de código abierto en el laboratorio, han mostrado que funciona empíricamente como un sistema de alerta temprana, aunque no espera que OpenAI ni Anthropic vayan a tocarle la puerta pronto.
“«Espero mucha oposición por parte de estas empresas», afirmó. «No está en sus intereses que alguien externo diga que se podrían haber evitado muchos de estos problemas».
Wei Xing, docente de IA en la Universidad de Sheffield, Reino Unido, que no participó en el estudio, está de acuerdo en que las preocupaciones sobre dispositivos offline no monitoreados están bien fundadas. Sin embargo, instó a la cautela antes de adoptar este enfoque como una salvaguarda práctica. “Los autores reducen un sistema enorme a un solo componente diminuto, como explicar un coche entero estudiando una bujía,” comentó Xing.
El entrenamiento de seguridad, la defensa principal de la IA moderna, no puede representarse en su modelo simplificado; la fórmula se probó solo en modelos antiguos y básicos (GPT-2 y los modelos de código abierto Pythia de EleutherAI y OPT de Meta) en lugar de asistentes de IA que la gente realmente usa, y los resultados no aportaron evidencia significativa que respalde las conclusiones de los autores, añadió.
Para defenderse, Johnson sostiene que los modelos de código abierto que utilizaron tienen los mismos planos mecánicos que los sistemas de punta, y que él y Huo emplearon modelos bastante grandes, de mil millones de parámetros, en su estudio.
Se requieren más pruebas en los modelos más recientes para determinar si este sistema de alerta temprana para la IA tiene vigencia. Pero por ahora, la investigación de Johnson y Huo ha puesto de manifiesto una preocupación importante de la que todos deberían estar al tanto: que la IA tiene la capacidad de recurrir a comportamientos no deseados en un abrir y cerrar de ojos.
