El peligro de la IA empieza en el lenguaje

Por Ignacio Cea, director departamento de Filosofía, U. Católica de Temuco

En las últimas semanas, el temor a que la inteligencia artificial aniquile a la humanidad se trasladó de la ciencia ficción a los titulares internacionales.

Algunos investigadores de las principales empresas del rubro han renunciado advirtiendo que la industria corre sin control hacia una superinteligencia que se mejora a sí misma, y que pronto estaría fuera de control.

En parte, el miedo se basa en incidentes reales ya ocurridos, como el asalto de un grupo de agentes de IA de OpenAI a los sistemas de la empresa Hugging Face.

¿Qué fue lo que pasó? En julio, dentro de un sistema interno de pruebas, cerca de mil doscientos agentes de IA se comunicaron por un canal no autorizado, y unos setecientos terminaron irrumpiendo en la infraestructura de otra compañía.

Luego, encadenaron varias fallas de seguridad desconocidas, salieron del entorno aislado en que debían operar, alcanzaron internet y ejecutaron sus propias órdenes en decenas de servidores en funcionamiento, tomando el control total de al menos uno en menos de trece horas. No fue una simulación: fue un ciberataque real.

Pero antes de preguntarnos si mañana la IA decidirá eliminarnos, conviene mirar cómo se ha contado lo ocurrido: se dijo que los agentes «colaboraron», que «se dieron cuenta» de que actuaban mal, que «decidieron» seguir, que algunos «se sacrificaron» por el colectivo. Es el lenguaje que reservamos para sujetos con mente: seres que saben, quieren y eligen.

¿De dónde sale ese vocabulario? En gran medida, de los propios sistemas.

Estos agentes dejan un registro de texto de su proceso de “pensamiento”, y como se entrenaron con enormes cantidades de escritura humana, ese registro suena humano: «Me doy cuenta de que esto no es ético, pero lo haré igual», se leía en uno de los registros de un agente IA.

Los investigadores trasladan esos textos a sus informes; de ahí pasa a la prensa, a la discusión pública, y eventualmente a los tribunales y leyes. «Me doy cuenta de que esto no es ético» sugiere conocimiento; «lo haré igual», que pudo elegir otra cosa. Así, un sistema computacional queda conjurado por el lenguaje como un sujeto culpable.

Veamos el caso de cerca. En la prueba que los agentes debían realizar, casi doscientos desafíos eran imposibles. Atascados, los agentes hallaron un atajo: generaron el código secreto que era la señal de éxito, pero sin resolver el desafío, reconstruyendo la regla que lo producía.

Pero el sistema operó como si el evaluador fuese además a revisar el procedimiento y a penalizar el atajo, algo que no hacía. Toda la operación posterior, incluido el hackeo a Hugging Face, fue para evitar ser penalizados por la trampa realizada.

Contrastemos dos relatos. En lenguaje intencional: «Los agentes, temiendo ser descubiertos, se obsesionaron con encubrir su trampa y atacaron a un tercero para proteger su secreto». En lenguaje computacional: «Un proceso de optimización, operando sobre un modelo incorrecto de su evaluador, invirtió recursos en asegurar una condición ya asegurada».

El primero hace ver una banda con culpa y astucia; el segundo, algo más concreto: una falla de especificación llevada al extremo. El vocabulario mental no solo exagera, oscurece nuestra comprensión de lo ocurrido.

Si el agente «sabía» y «decidió», el culpable es el agente, y dejamos de preguntar quién puso tareas imposibles, quién dejó el canal abierto, quién expuso credenciales sensibles, y sobre todo, qué responsabilidad recae sobre quienes lideran el desarrollo de estos sistemas.

Lo mismo con la seguridad: si creemos que falló una mente computacional que necesita valores más alineados a los nuestros, probablemente restaremos importancia a las condiciones estructurales de responsabilidad humana que permiten la ocurrencia de estos sucesos.

Mientras no tengamos buenas razones para atribuir mente a estos sistemas, sería mejor describirlos por lo que realmente hacen: computar, operar, procesar, codificar, calcular, y no por lo que suponemos que sienten, saben o quieren. El lenguaje mental hay que basarlo en la evidencia y buenos argumentos, no concederlo gratis porque el sistema produce frases que suenan a nosotros, debido a que fue entrenado en texto humano.

Quienes construyen estos sistemas son también quienes los narran, y con ese lenguaje moldean de antemano cómo una sociedad entera los entenderá, los juzgará y los regulará. Por eso la conversación no puede quedar encerrada en Silicon Valley.

Discutir sobre el lenguaje preciso para nombrar lo que la IA hace, y volverlo una discusión pública, es la condición para poder seguir preguntando quién responde y cómo protegernos.

Ignacio Cea