La línea de denuncia que protege contra las imágenes de abuso sexual infantil puede luchar por combatir la IA

Un nuevo informe del Observatorio de Internet de Stanford dice que el National Center for Missing and Exploited Children CyberTipline debe mejorar su tecnología si quiere responder a la afluencia de material de abuso sexual infantil (CSAM) generado por IA de los usuarios de Internet.
El informe afirma que CyberTipline, la principal defensa de Internet contra CSAM, ya está luchando por gestionar el elevado volumen de llamadas que recibe. Según el centro, la línea de informes recibió 36,2 millones de informes CSAM en 2023, un 12% más que en 2022.
El aumento del CSAM generado por IA sólo empeoraría las cosas. La línea de informes recibe informes de plataformas online como Facebook y Google mediante una API de informes manuales, pero esta API no garantiza que se llenen todos los campos importantes. Stanford también señala que el personal de moderación de contenido cambia rápidamente a las empresas tecnológicas, por lo que a menudo no existe coherencia en los informes.
El centro sin ánimo de lucro, que recibe gran parte de su presupuesto del Congreso, ofrece a menudo sueldos más bajos que otros equipos de confianza y seguridad de la industria, lo que dificulta la retención del personal. También tiene dificultades para integrarse con fuentes de datos externas, utiliza distintas plataformas para leer informes empresariales y no puede estar al día de las últimas innovaciones tecnológicas. Por ejemplo, no puede almacenar imágenes y otros datos sensibles a los servicios en la nube debido a restricciones legales que sólo mantienen los datos informados en los servidores durante 90 días, lo que es mucho menos que suficiente para iniciar cualquier acción legal.
Stanford recomienda que las plataformas online mejoren su API de informes CSAM para garantizar que se incluya toda la información necesaria, permitiendo a los agentes de la línea de información realizar un seguimiento adecuado de los casos. También sugirió que el centro busque un mayor presupuesto en el Congreso para que pueda priorizar la contratación de expertos técnicos y la mejora de su pila tecnológica.
New York Times informa que ha habido un aumento de los nudos generados por IA en Internet y en las escuelas, añadiéndose a un sistema ya sobrecargado. Los nudos falsos de celebridades como Taylor Swift creados por IA circularon en X a principios de año. Los fiscales generales de los 50 estados han pedido al Congreso que cree una comisión para combatir al CSAM creado por IA. En diciembre, se descubrió que algunos conjuntos de datos utilizados por las empresas para entrenar a sus modelos de IA incluían imágenes CSAM.