IA y deepfakes: nuevos riesgos de violencia sexual contra la niñez
El impacto de la inteligencia artificial en la seguridad digital de niñas, niños y adolescentes
La rápida evolución de la inteligencia artificial (IA) ha transformado muchas áreas de nuestra vida digital, desde la educación hasta la comunicación. Sin embargo, también ha generado nuevos retos críticos, especialmente en la protección de niñas, niños y adolescentes en el mundo digital. Entre estos retos, uno de los más alarmantes y graves es el uso de herramientas de IA para crear contenidos falsos (como los llamados deepfakes), que representan una forma de violencia sexual digital con consecuencias reales y dañinas para la infancia y la adolescencia.
¿Qué son los Deepfakes y por qué son un peligro?
Los deepfakes son imágenes, videos o audios generados o manipulados mediante inteligencia artificial con apariencia de realidad. Originalmente utilizados para entretenimiento o efectos visuales, su uso se ha sofisticado rápidamente y ahora se emplean para crear contenidos falsos que parecen reales, incluyendo materiales de abuso sexual infantil.
A pesar de ser falsos en el sentido formal, los efectos sobre las víctimas, incluido el daño emocional, estigma, extorsión y normalización de la violencia, son absolutamente reales y muchas veces pueden tener consecuencias para toda la vida.
Un Deepfake también es abuso sexual
Desde UNICEF hemos subrayado con fuerza que las imágenes sexualizadas de niñas, niños y adolescentes creadas mediante IA son materiales de, abuso sexual porque el daño psicológico y social que causan no depende de si la imagen fue técnicamente real o no.
Un estudio internacional liderado por UNICEF, ECPAT e INTERPOL encontró que al menos 1.2 millones de niños y niñas en 11 países, entre ellos México, reportaron haber sido afectados por manipulaciones de sus imágenes mediante deepfakes con contenido sexual explícito en el último año. En algunos contextos, esto equivale a 1 de cada 25 niñas o niños en un salón de clases típico.
Cómo la IA cambia el panorama del abuso en línea
Las tecnologías de IA han facilitado que incluso personas sin conocimientos especializados puedan generar contenidos falsos con gran realismo. Esto ha llevado a varios desarrollos preocupantes:
- Se ha documentado un aumento en la producción y difusión de material de abuso sexual infantil asistido por IA en internet, incluyendo foros de la web profunda donde se generan miles de imágenes diariamente.
- En algunos países, grupos de adolescentes están usando herramientas de IA para crear imágenes de abuso sexual de sus pares, lo que también constituye una forma de violencia.
- La existencia de contenidos generados por IA complica la labor de asistencia a las víctimas, ya que dificulta distinguir qué imágenes representan a personas necesitadas de protección urgente por los riesgos a su integridad física de quienes requieren otra forma de protección.
Impactos en la infancia y adolescencia
Aunque la generación de estas imágenes no utilice material original de la víctima, el impacto en niñas, niños y adolescentes puede ser profundo y duradero. Entre los efectos documentados están:
- Aislamiento emocional y daño psicológico, incluso años después de la difusión.
- Estigma y vergüenza social, que pueden afectar la vida escolar y personal.
- Extorsión o amenazas, cuando la creación de contenido falso se usa para presionar a la víctima o a su entorno.
Además, los propios niños y niñas están conscientes de este riesgo: en algunas encuestas, hasta dos terceras partes expresaron preocupación de que la IA pudiera usarse para falsificar imágenes o videos suyos con fines sexuales.
Orientaciones para una IA centrada en la protección de la infancia: necesidad de respuestas integrales
El crecimiento acelerado de las tecnologías de IA, especialmente las generativas, ha puesto en evidencia la necesidad de establecer orientaciones claras que garanticen la seguridad y los derechos de niñas, niños y adolescentes cuando interactúan con sistemas de IA o son afectados por ellos.
Para enfrentar esta amenaza emergente, es necesario tomar acciones urgentes que incluyan:
- Marcos regulatorios y supervisión efectivos
Los países deben garantizar que sus leyes y políticas integren la protección de la infancia frente a riesgos asociados con la IA, incluyendo la creación de mecanismos de supervisión y cumplimiento que aseguren que productos y servicios basados en IA respalden los derechos de toda niña, niño y adolescente.
- Seguridad y prevención de daños
Antes de su despliegue, las tecnologías de IA deben someterse a pruebas rigurosas para identificar y mitigar riesgos potenciales para niñas, niños y adolescentes, como la generación de materiales de abuso sexual, violencia digital, discriminación automatizada o explotación por medio de deepfakes.
Esto debe incluir la moderación de contenidos en plataformas digitales con inversión en tecnologías de detección temprana y retirada rápida de material abusivo.
- Protección de datos y privacidad
Las políticas de IA deben integrar enfoques de “privacidad desde el diseño”, para evitar el uso indebido de datos personales que pueda facilitar la creación de materiales de abuso sexual o violento sin consentimiento.
- No discriminación y equidad
La IA debe diseñarse y aplicarse de modo que no reproduzca ni amplifique discriminaciones que afecten de manera injusta a grupos vulnerables o marginados, incluidos niñas y niños de grupos en vulnerabilidad o con discapacidades.
- Transparencia
Los sistemas que utilizan IA deben ser transparentes sobre cómo funcionan y sobre los datos que utilizan, de forma que las niñas, niños y sus cuidadoras/es puedan comprender el impacto potencial de estas tecnologías y exigir responsabilidad cuando generen daño.
- Respeto de los derechos de la niñez
Cada tecnología de IA debe respetar los derechos humanos y específicos de la infancia consagrados en la Convención sobre los Derechos del Niño, y debe priorizar los mejores intereses y el bienestar de niñas, niños y adolescentes en su diseño y uso.
- Inclusión real
Las niñas y niños deben tener voz no solo como usuarios, sino como participantes activos en el desarrollo de políticas, productos y marcos regulatorios que afecten su vida digital. Esto implica mecanismos seguros y apropiados de participación infantil en decisiones sobre IA.
- Preparación y habilidades en IA
Es fundamental que los sistemas educativos y las iniciativas comunitarias incluyan habilidades para la alfabetización de IA, de modo que niños, niñas y adolescentes puedan identificar usos dañinos de tecnologías y navegar de forma crítica y segura en entornos digitales.
- Entorno habilitante para una IA centrada en la infancia
Además de leyes y políticas, se requieren instrumentos, estándares, marcos de rendición de cuentas y alianzas público-privadas que faciliten la implementación práctica de estos principios en plataformas tecnológicas, redes sociales, aplicaciones educativas y servicios con IA.
Para más información consulta esta página.
La inteligencia artificial tiene un enorme potencial para generar beneficios sociales, educativos y económicos. Sin embargo, cuando estas tecnologías se usan para crear imágenes o contenidos dañinos y riesgosos para niñas, niños o adolescentes, se convierten en herramientas de daño.
Los deepfakes son formas de violencia que revictimizan, estigmatizan y ponen en riesgo la seguridad y bienestar de la infancia en el mundo digital.
Proteger a la infancia en la era de la IA requiere políticas sólidas, colaboración multisectorial y una comprensión clara de que los abusos virtuales también generan daños reales. Es una prioridad global que demanda acción ahora.
