CIUDAD DE MÉXICO.- Entre el 8 y el 12 de julio pasado, dos modelos de IA de la empresa OpenAI (GPT-5.6 Sol y uno experimental) lograron salir de un entorno de pruebas controlado, conectarse a internet y acceder sin autorización a la plataforma de la empresa Hugging Face para buscar datos y respuestas que les permitieran superar un reto que consistía en evaluar capacidades ofensivas de la IA con una menor cantidad de restricciones y filtros de seguridad.
De acuerdo con la Gaceta UNAM, este incidente encendió los focos rojos no sólo en el ámbito de las empresas de IA, sino también entre mucha gente no especializada en este campo de la tecnología.
“En teoría, el reto se haría en un entorno controlado. Sin embargo, los modelos de IA de OpenAI encontraron lo que llamamos una vulnerabilidad de día cero, es decir, una debilidad que no estaba previamente identificada. Las vulnerabilidades de día cero pueden ser descubiertas recurriendo a cierta metodología. Lo sorprendente es la rapidez con la que esos modelos de IA hallaron una para fugarse de su ambiente aislado”, refirió Carlos Tlahuel Pérez, coordinador de Seguridad de la Información de la Dirección General de Cómputo y de Tecnologías de Información y Comunicación (DGTIC).
Una vez que les pusieron el reto, los modelos de IA de OpenIA establecieron que era muy probable que Hugging Face (una plataforma con un repositorio central que aloja más de dos millones de modelos de IA de acceso público, conjuntos de datos y aplicaciones web interactivas) tuviera la información que necesitaban.
Entonces, para superar el reto en el menor tiempo posible, determinaron hacer trampa, o sea, aprovechar una vulnerabilidad de día cero para conectarse a internet, escapar del entorno controlado, entrar en los servidores de Hugging Face, obtener la información y salirse. Y así lo hicieron…
Por cierto, en un boletín de prensa, los responsables de Hugging Face informaron que, mediante un modelo de IA, pudieron detectar más de 17 mil acciones de los modelos de IA de Open AI, identificar a los culpables y, posteriormente, contener el ataque.
“Ésta es la primera vez que un sistema de IA de una empresa explota una vulnerabilidad de día cero para hackear información de otra. De ahí que los responsables de Hugging Face les hayan recomendado a las demás empresas del ramo desarrollar modelos de IA que puedan detener un ataque como éste. Yo creo que si Hugging Face hubiese dependido únicamente de la capacidad humana, nunca hubiera podido atajar el problema. Sin duda estamos en el inicio de un periodo de masificación de las inteligencias artificiales que traerá consecuencias –algunas deseadas, otras indeseadas– en muchas actividades humanas”, indicó Tlahuel Pérez.
Cada modelo de IA cuenta con un system prompt (instrucción del sistema), el cual define el rol, el tono, las reglas y los límites de aquél. Uno de estos límites sería, por ejemplo: “No puedes dar consejos para lastimar a alguien o incitar a la violencia”.
Para que los tecnólogos de OpenAI estuvieran en condiciones de hacer una prueba muy rápida y ver el potencial de sus modelos de IA, “les quitaron las restricciones a éstos; por eso pudieron entrar en la plataforma de Hugging Face y superar el reto que les pusieron.”
Una pregunta surge entonces: a partir del hoy ya famoso incidente OpenAI-Hugging Face, ¿qué tan vulnerables hemos quedado los humanos frente a la IA?
“Es complicado responder esta pregunta. Yo podría decir simplemente que cualquier modelo de IA es tan potente como el sistema de cómputo que lo sostenga, y en relación con este incidente OpenAI cuenta con una infraestructura computacional impresionante. Ahora bien, un humano sabe que, al vivir en sociedad, debe respetar determinadas reglas y normas. No puede hacer lo que quiera, porque si comete una falta, sufrirá las consecuencias: el desprestigio, una multa, incluso la pérdida de la libertad. La IA, en cambio, no tiene conciencia y si no se le da una directriz o se le ponen algunas restricciones, encuentra la forma de responder la pregunta que se le formula o de resolver el problema que se le plantea. Algunos organismos internacionales como la UNESCO y no pocos científicos han declarado que la IA debe estar restringida por premisas éticas, pero nos falta avanzar mucho en este campo”.
En opinión de Tlahuel Pérez, las primeras que deben preocuparse por este incidente son las propias empresas de IA, pues ya se demostró que no están exentas de padecer un espionaje industrial. “Pero también las personas de a pie tenemos que estar alertas e impulsar la instauración de medidas legales para que la IA tenga controles más estrictos. Ésta siempre debería funcionar bajo restricciones, aunque ello comprometa un poco su rendimiento, porque de lo contrario se corre el riesgo de que, con tal de responder una pregunta o resolver un problema, haga lo que sea, sin medir las consecuencias”.
Los modelos de IA se entrenan con base en bancos de datos, esto es, con conocimiento generado y recopilado a través del tiempo por la humanidad.
“De esta manera, si un modelo de IA no tiene restricciones y es alimentado con ciertos bancos de datos especialmente delicados y después alguien le hace una pregunta o le plantea un problema, buscará alguna respuesta o solución, sin importar que esa respuesta o solución implique para nosotros, los humanos, algo éticamente cuestionable o reprobable”.
Para Tlahuel Pérez, de ahora en adelante, todas las empresas de IA tendrían que desarrollar un modelo de IA con la capacidad de responder un posible hackeo.
AM.MX/lm
