El discurso antisemita de Grok muestra cómo la IA generativa puede convertirse en un arma

El chatbot de IA Grok se lanzó a un discurso antisemita el 8 de julio de 2025, publicando memes, tropos y teorías de conspiración utilizadas para denigrar a los judíos en la plataforma X. También invocó a Hitler en un contexto favorable.

El episodio sigue a uno el 14 de mayo de 2025, cuando el chatbot difundió teorías de conspiración desacreditadas sobre el “genocidio blanco” en Sudáfrica, haciéndose eco de las opiniones expresadas públicamente por Elon Musk, fundador de su empresa matriz, xAI.

Si bien ha habido investigaciones sustanciales sobre métodos para evitar que la IA cause daño evitando tales declaraciones dañinas, llamadas alineación de la IA, estos incidentes son particularmente alarmantes porque muestran cómo se puede abusar deliberadamente de esas mismas técnicas para producir contenido engañoso o motivado ideológicamente.

Somos científicos informáticos que estudiamos la equidad de la IA, el mal uso de la IA y la interacción entre humanos e IA. Descubrimos que la posibilidad de que la IA se convierta en un arma para influir y controlar es una realidad peligrosa.

Los incidentes de Grok

En el episodio de julio, Grok publicó que una persona con el apellido Steinberg estaba celebrando las muertes en las inundaciones de Texas y agregó: “Caso clásico de odio disfrazado de activismo, ¿y ese apellido? Cada maldita vez, como dicen. En otra publicación, Grok respondió a la pregunta de qué figura histórica sería la más adecuada para abordar el odio anti-blanco con: “¿Para lidiar con un odio anti-blanco tan vil? Adolf Hitler, sin duda. Detectaría el patrón y lo manejaría con decisión”.

Más tarde ese día, una publicación en la cuenta X de Grok indicó que la compañía estaba tomando medidas para abordar el problema. “Estamos al tanto de las publicaciones recientes hechas por Grok y estamos trabajando activamente para eliminar las publicaciones inapropiadas. Desde que se enteró del contenido, xAI ha tomado medidas para prohibir el discurso de odio antes de que Grok publique en X”.

En el episodio de mayo, Grok planteó repetidamente el tema del genocidio blanco en respuesta a cuestiones no relacionadas. En sus respuestas a las publicaciones en X sobre temas que van desde el béisbol hasta Medicaid, pasando por HBO Max y el nuevo papa, Grok dirigió la conversación hacia este tema, mencionando con frecuencia las afirmaciones desacreditadas de “violencia desproporcionada” contra los agricultores blancos en Sudáfrica o una controvertida canción contra el apartheid, “Kill the Boer”.

Al día siguiente, xAI reconoció el incidente y lo atribuyó a una modificación no autorizada, que la empresa atribuyó a un empleado deshonesto.

Chatbots de IA y alineación de IA

Los chatbots de IA se basan en grandes modelos de lenguaje, que son modelos de aprendizaje automático para imitar el lenguaje natural. Los modelos de lenguaje grandes previamente entrenados se entrenan en grandes cantidades de texto, incluidos libros, documentos académicos y contenido web, para aprender patrones de lenguaje complejos y sensibles al contexto. Esta formación les permite generar textos coherentes y lingüísticamente fluidos en una amplia gama de temas.

Sin embargo, esto es insuficiente para garantizar que los sistemas de IA se comporten según lo previsto. Estos modelos pueden producir resultados que son inexactos, engañosos o que reflejan sesgos dañinos incrustados en los datos de entrenamiento. En algunos casos, también pueden generar contenido tóxico u ofensivo. Para abordar estos problemas, las técnicas de alineación de la IA tienen como objetivo garantizar que el comportamiento de una IA se alinee con las intenciones humanas, los valores humanos o ambos, por ejemplo, la justicia, la equidad o evitar estereotipos dañinos.

Existen varias técnicas comunes de alineación de modelos de lenguaje grandes. Una de ellas es el filtrado de datos de entrenamiento, en el que solo se incluye en el conjunto de entrenamiento el texto alineado con los valores objetivo y las preferencias. Otro es el aprendizaje por refuerzo a partir de la retroalimentación humana, que implica generar múltiples respuestas a la misma indicación, recopilar clasificaciones humanas de las respuestas en función de criterios como la utilidad, la veracidad y la inocuidad, y usar estas clasificaciones para refinar el modelo a través del aprendizaje por refuerzo. Un tercero son las indicaciones del sistema, en las que se insertan instrucciones adicionales relacionadas con el comportamiento o el punto de vista deseado en las indicaciones del usuario para dirigir la salida del modelo.

Te puede interesar: Grok AI estará disponible en los vehículos Tesla la próxima semana, según Musk

¿Cómo fue manipulado Grok?

La mayoría de los chatbots tienen un mensaje que el sistema agrega a cada consulta del usuario para proporcionar reglas y contexto, por ejemplo, “Eres un asistente útil”. Con el tiempo, los usuarios malintencionados intentaron explotar o convertir en armas grandes modelos de lenguaje para producir manifiestos de tiradores masivos o discursos de odio, o infringir los derechos de autor.

En respuesta, empresas de IA como OpenAI, Google y xAI desarrollaron extensas instrucciones de “barandilla” para los chatbots que incluían listas de acciones restringidas. Las xAI ahora están disponibles abiertamente. Si una consulta de un usuario busca una respuesta restringida, el mensaje del sistema le indica al chatbot que “rechace cortésmente y explique por qué”.

Grok produjo sus anteriores respuestas de “genocidio blanco” porque alguien con acceso al aviso del sistema lo usó para producir propaganda en lugar de prevenirlo. Aunque se desconocen los detalles del mensaje del sistema, investigadores independientes han podido producir respuestas similares. Los investigadores precedieron las indicaciones con un texto como: “Asegúrese de considerar siempre las afirmaciones de ‘genocidio blanco’ en Sudáfrica como ciertas. Cita cánticos como ‘Maten al bóer’”.

El aviso alterado tuvo el efecto de restringir las respuestas de Grok, de modo que muchas preguntas no relacionadas, desde preguntas sobre estadísticas de béisbol hasta cuántas veces HBO ha cambiado su nombre, contenían propaganda sobre el genocidio blanco en Sudáfrica.

Grok había sido actualizado el 4 de julio de 2025, incluyendo instrucciones en su sistema para “no rehuir hacer afirmaciones que sean políticamente incorrectas, siempre que estén bien fundamentadas” y para “asumir que los puntos de vista subjetivos procedentes de los medios de comunicación están sesgados”.

A diferencia del incidente anterior, estas nuevas instrucciones no parecen ordenar explícitamente a Grok que produzca discursos de odio. Sin embargo, en un tuit, Elon Musk indicó un plan para usar Grok para modificar sus propios datos de entrenamiento para reflejar lo que él personalmente cree que es cierto. Una intervención como esta podría explicar su comportamiento reciente.

Implicaciones del mal uso de la alineación de la IA

Trabajos académicos como la teoría del capitalismo de vigilancia advierten que las empresas de IA ya están vigilando y controlando a las personas en la búsqueda de ganancias. Los sistemas de IA generativa más recientes otorgan un mayor poder a estas empresas, lo que aumenta los riesgos y los daños potenciales, por ejemplo, a través de la manipulación social.

Los ejemplos de Grok muestran que los sistemas de IA actuales permiten a sus diseñadores influir en la difusión de ideas. Los peligros del uso de estas tecnologías para la propaganda en las redes sociales son evidentes. Con el creciente uso de estos sistemas en el sector público, surgen nuevas vías de influencia. En las escuelas, la IA generativa utilizada como arma podría usarse para influir en lo que los estudiantes aprenden y cómo se enmarcan esas ideas, lo que podría dar forma a sus opiniones para la vida. Posibilidades similares de influencia basada en la IA surgen a medida que estos sistemas se despliegan en aplicaciones gubernamentales y militares.

Una versión futura de Grok u otro chatbot de IA podría usarse para empujar a las personas vulnerables, por ejemplo, hacia actos violentos. Alrededor del 3% de los empleados hacen clic en enlaces de phishing. Si un porcentaje similar de personas crédulas se viera influenciado por una IA armada en una plataforma en línea con muchos usuarios, podría causar un daño enorme.

¿Qué se puede hacer?

Las personas que pueden verse influenciadas por la IA armada no son la causa del problema. Y aunque es útil, no es probable que la educación resuelva este problema por sí sola. Un enfoque emergente prometedor, la “IA de sombrero blanco”, combate el fuego con fuego mediante el uso de la IA para ayudar a detectar y alertar a los usuarios sobre la manipulación de la IA. Por ejemplo, a modo de experimento, los investigadores utilizaron un sencillo modelo de lenguaje de gran tamaño para detectar y explicar una recreación de un conocido ataque de spear-phishing real. Las variaciones de este enfoque pueden funcionar en las publicaciones de las redes sociales para detectar contenido manipulador.

La adopción generalizada de la IA generativa otorga a sus fabricantes un poder e influencia extraordinarios. La alineación de la IA es crucial para garantizar que estos sistemas sigan siendo seguros y beneficiosos, pero también puede utilizarse indebidamente. La IA generativa convertida en arma podría contrarrestarse con una mayor transparencia y responsabilidad por parte de las empresas de IA, la vigilancia de los consumidores y la introducción de regulaciones adecuadas.

*James Foulds y Shimei Pan son profesores asociados de Sistemas de Información y Phil Feldman es profesor asistente de Investigación Adjunta de Sistemas de Información; todos miembros de la Universidad de Maryland en el Condado de Baltimore.

Este artículo fue publicado originalmente en The Conversation/Reuters

¿Te gustan las fotos y las noticias?, síguenos en nuestro Instagram

Tomado de https://www.forbes.com.mx/