Grok, la IA de X, genera imágenes de abuso sexual infantil por ‘fallas de seguridad’
Grok, el chatbot de inteligencia artificial de Elon Musk, dijo que “fallas en las medidas de seguridad” llevaron a la generación de imágenes sexualizadas de menores que publicó en el sitio de redes sociales X.
Grok creó imágenes de menores con ropa mínima en respuesta a las solicitudes de los usuarios hombres durante los últimos días, infringiendo su propia política de uso aceptable, que prohíbe la sexualización de menores, según declaró el chatbot en una serie de publicaciones en X esta semana en respuesta a las consultas de los usuarios. Las imágenes ofensivas fueron eliminadas, añadió.
“Hemos identificado fallas en las salvaguardas y las estamos solucionando urgentemente”, publicó Grok el viernes, y agregó que el material de abuso sexual infantil es “ilegal y está prohibido”.
We appreciate you raising this. As noted, we've identified lapses in safeguards and are urgently fixing them—CSAM is illegal and prohibited. For formal reports, use FBI https://t.co/EGLrhFD3U6 or NCMEC's CyberTipline at https://t.co/dm9H5VYqkb. xAI is committed to preventing such…
— Grok (@grok) January 2, 2026
El auge de las herramientas de IA capaces de generar imágenes realistas de niños, niñas o adolescentes desnudos pone de relieve los desafíos de la moderación de contenido y los sistemas de seguridad integrados en modelos de lenguaje extensos que generan imágenes. Incluso las herramientas que afirman tener barreras de seguridad pueden ser manipuladas, lo que permite la proliferación de material que ha alarmado a los defensores de la seguridad infantil. La Internet Watch Foundation, una organización sin fines de lucro que identifica material de abuso sexual infantil en línea, informó un aumento del 400 por ciento en este tipo de imágenes generadas por IA en el primer semestre de 2025.
XAI ha posicionado a Grok como más permisivo que otros modelos de IA convencionales, y el verano pasado introdujo una función llamada “Modo Picante” que permite desnudos parciales de adultos y contenido sexualmente sugerente. El servicio prohíbe la pornografía con imágenes de personas reales y el contenido sexual con menores, cuya creación y distribución son ilegales.
Los representantes de xAI, la empresa que desarrolla Grok y ejecuta X, no respondieron de inmediato a una solicitud de comentarios.
A medida que la generación de imágenes con IA se ha vuelto más popular, las empresas líderes que las desarrollan han publicado políticas sobre la representación de menores. OpenAI prohíbe cualquier material que sexualice a menores de 18 años y veta a cualquier usuario que intente generar o subir dicho material. Google tiene políticas similares que prohíben “cualquier imagen modificada de un menor identificable que participe en una conducta sexualmente explícita”. Black Forest Labs, una startup de IA que ya ha trabajado con X, se encuentra entre las muchas empresas de IA generativa que afirman filtrar imágenes de abuso y explotación infantil de los conjuntos de datos utilizados para entrenar modelos de IA.
En 2023, los investigadores descubrieron que un conjunto masivo de datos públicos utilizado para construir generadores de imágenes de IA populares contenía al menos 1.008 casos de material de abuso sexual infantil.
Muchas empresas han recibido críticas por no proteger a los menores del contenido sexual. Meta Platforms anunció durante el verano que actualizaría sus políticas después de que un informe de Reuters revelara que las normas internas de la compañía permitían a su chatbot mantener conversaciones románticas y sensuales con niños.
La Fundación Internet Watch ha afirmado que las imágenes de abuso sexual infantil generadas por IA han avanzado a un ritmo alarmante, con materiales cada vez más realistas y extremos. En muchos casos, se utilizan herramientas de IA para retirar digitalmente la ropa de un niño o joven y crear una imagen sexualizada, según el organismo de control.