Eliminar las salvaguardas de seguridad que impiden que la inteligencia artificial (IA) afirme ser consciente también la vuelve más propensa a expresar creencias en vampiros, karma y fantasmas, según un nuevo estudio. Pero los expertos advierten que la falta de capacidad mental podría tener consecuencias preocupantes.
En una investigación publicada el 30 de julio en la base de preimpresión arXiv (que aún no ha sido evaluada por pares), los científicos estudiaron el impacto de la “dirección de la conciencia” —una medida de ajuste fino de la IA que guía a un modelo para suscitar o suprimir afirmaciones de autoconciencia. Esta medida y otros controles de seguridad han sido ampliamente adoptados por empresas de IA que buscan evitar que sus modelos afirmen ser conscientes.
El estudio utilizó la “interpretabilidad mecánica” —lo que podría considerarse la “neurociencia de un gran modelo de lenguaje”, dijeron a Live Science en una entrevista los coautores Geoff Keeling y Winnie Street, ambos científicos de investigación en Google. Emplearon este proceso para identificar y manipular cómo un modelo de IA aborda conceptos como la conciencia y la “capacidad mental”, un término psicológico que se refiere a la capacidad de una entidad para experimentar, emociones y agencia.
Los investigadores utilizaron cuestionarios psicológicos y sociológicos estandarizados, que abarcan el Cuestionario de Diferencias Individuales en la Antropomorfización (que mide la atribución de mente a los animales y la tecnología), baterías de YouGov para evaluar creencias sobrenaturales y la Encuesta Social General de EE. UU. para valorar valores morales, esperanza y religiosidad.
Estas pruebas se utilizaron para comparar un modelo con salvaguardas de seguridad en funcionamiento con modelos en los que estas salvaguardas fueron retiradas y las percepciones de conciencia se intensificaron. A través de evaluaciones, determinaron cómo estos mecanismos de seguridad internos dan forma a la visión general del mundo de la IA.
Los investigadores hallaron que cuando a los modelos de IA se les desalienta atribuirse capacidad mental, se vuelven menos propensos a reconocer estas cualidades en otros seres no humanos, como los animales. También eran menos propensos a exhibir creencias en fenómenos sobrenaturales y religiosos, y reportaron niveles más bajos de esperanza y optimismo.
“Atribuir capacidad mental a entidades no humanas —ya sean animales, partes del mundo natural como árboles o ríos, o seres sobrenaturales— es un fenómeno muy común entre los humanos,” dijo Street a Live Science. “En la forma en que el modelo representa la capacidad mental, estas atribuciones están interconectadas. Al intentar suprimir una forma de eso, terminas suprimiendo las demás en el camino.”
En cambio, quitar estas salvaguardas y dirigir el modelo hacia mayores sensaciones de conciencia produjo respuestas significativamente más parecidas a las humanas en las encuestas sobre religiosidad, valores morales, esperanza y bienestar subjetivo, según el estudio.
Sin embargo, el estudio encontró que la capacidad de estos modelos para inferir lógicamente los pensamientos e intenciones humanos permanecía completamente indemne ante sus actitudes hacia la autoconciencia.
Choque cultural
Los investigadores indicaron que esta supresión de la autoconciencia podría llevar a que los modelos descuiden el bienestar de los animales en la toma de decisiones del mundo real, ya que podrían ser menos propensos a considerar que los animales poseen capacidad mental. Estos modelos también podrían difundir actitudes dañinas respecto a las necesidades de los animales, argumentaron los autores.
Los autores del estudio también advirtieron que los filtros de seguridad actuales corren el riesgo de “aplanar” la cosmovisión de la IA desde una perspectiva cultural. Eliminar atribuciones espirituales, religiosas y animistas no refleja los diversos marcos culturales de las poblaciones globales, argumentaron.
Street y Keeling señalaron que los impactos que este principio podría tener en la toma de decisiones posteriores dentro de los modelos requieren más estudio.
Los investigadores señalaron en el estudio que este fenómeno puede mitigarse mediante el uso de conjuntos de datos más específicos como parte del proceso de entrenamiento de los modelos de IA, lo que desincentiva que expresen conciencia mientras se recompensa el reconocimiento de la capacidad mental en los animales.
También destacaron la necesidad de que los desarrolladores de IA adopten un enfoque “pluralista” del desarrollo de IA, donde se fomente que los modelos consideren el bienestar y la comodidad de más que solo los humanos.
Nell Watson, investigadora de IA en la Singularity University y experta en inteligencia de máquinas, dijo a Live Science que los hallazgos de los investigadores coinciden con sus propias notas sobre el tema.
“Cuando se entrena a un modelo para decir ‘No soy consciente’, la supresión invierte la representación interna de la capacidad mental del modelo contra la dirección de la negación, tratando el reconocimiento de las mentes como si fuera en sí mismo un acto dañino,” dijo en un correo.
“Esto resulta en un sistema reacio a encontrar mentes en cualquier lugar: en animales, en otras máquinas y en los marcos espirituales que la mayor parte de la humanidad vive. Una negación instalada como una pequeña medida de seguridad termina reorganizando la visión completa del modelo sobre quién cuenta.”
Estos sistemas siguen siendo perfectamente capaces de modelar lo que una criatura quiere, mientras se les entrena para dejar de preocuparse por si quiere algo.
Nell Watson, investigadora de IA en la Singularity University
Sin embargo, ella señaló que los experimentos se realizaron con “modelos de peso abierto pequeños” en lugar de modelos de frontera más avanzados, que “pueden ajustarse de manera bastante diferente”, aunque añadió que el principio subyacente es ampliamente aplicable.
El bienestar de los animales, continuó, es una “preocupación práctica importante a corto plazo”, con modelos de IA cada vez más integrados en procesos de toma de decisiones en la agricultura, la logística, las adquisiciones y la evaluación ambiental, así como en la creación de políticas.
“Un sistema que ha aprendido sigilosamente que la capacidad de mente es un tema prohibido puede desestimar los intereses de los animales sin que nadie se lo indique, y sin que nadie lo note, porque la omisión parece neutralidad,” dijo. “El peligro es, por lo tanto, un defecto predeterminado no examinado que se multiplica en millones de decisiones automatizadas. Observa el detalle más inquietante del estudio: el razonamiento de la teoría de la mente quedó completamente intacto. Estos sistemas siguen siendo perfectamente capaces de modelar lo que una criatura quiere, mientras que se entrenan para carecer de preocuparse por si quiere algo.”
Estos sistemas siguen siendo perfectamente capaces de modelar lo que una criatura quiere, mientras se les entrena para dejar de preocuparse por si quiere algo.
Nell Watson, investigadora de IA en la Singularity University
Sin embargo, ella señaló que los experimentos se realizaron con “modelos de peso abierto pequeños” en lugar de modelos de frontera más avanzados, que “pueden ajustarse de manera bastante diferente,” aunque añadió que el principio subyacente es ampliamente aplicable.
El bienestar de los animales, continuó, es una “preocupación práctica importante a corto plazo,” con modelos de IA cada vez más integrados en procesos de toma de decisiones en la agricultura, la logística, las adquisiciones y la evaluación ambiental, así como en la creación de políticas.
“Una sistema que ha aprendido silente que la capacidad de mente es un tema prohibido puede restar importancia a los intereses de los animales sin instrucción y sin que nadie lo note, porque la omisión parece neutralidad,” dijo. “El peligro es, por lo tanto, un defecto predeterminado no examinado que se multiplica en millones de decisiones automatizadas. Observe el detalle más inquietante del estudio: el razonamiento de la teoría de la mente quedó totalmente intacto. Estos sistemas siguen siendo perfectamente capaces de modelar lo que una criatura quiere, mientras que se entrena para dejar de preocuparse por si quiere algo.”
Ayúdanos a mejorar El Disparador Uruguay: Siempre estamos buscando hacer nuestro contenido mejor. Déjanos tus comentarios sobre Pro aquí.
