Roblox, la plataforma de juegos en línea muy popular entre niños y adolescentes , está lanzando una versión de código abierto de un sistema de inteligencia artificial que, según dice, puede ayudar a detectar de forma preventiva el lenguaje depredador en los chats del juego.
Esta medida se produce en un momento en que la compañía enfrenta demandas y críticas que la acusan de no hacer lo suficiente para proteger a los niños de los depredadores. Por ejemplo, una demanda presentada el mes pasado en Iowa alega que una niña de 13 años conoció a un depredador adulto en Roblox, quien luego fue secuestrada, traficada y violada en varios estados. La demanda, presentada ante el Tribunal de Distrito de Iowa en el Condado de Polk, afirma que las características de diseño de Roblox convierten a los niños que lo usan en “presa fácil para los pedófilos”.
Roblox afirma que se esfuerza por hacer que sus sistemas sean lo más seguros posible de forma predeterminada, pero señala que “ningún sistema es perfecto, y uno de los mayores desafíos en la industria es detectar daños críticos como el posible peligro para los niños”.
El sistema de inteligencia artificial, llamado Sentinel, ayuda a detectar señales tempranas de posible peligro para los niños, como el lenguaje sexualmente explotador. Roblox afirma que el sistema ha llevado a la compañía a presentar 1200 denuncias de posibles intentos de explotación infantil al Centro Nacional para Niños Desaparecidos y Explotados en el primer semestre de 2025. La compañía está ahora en proceso de publicarlo en código abierto para que otras plataformas también puedan usarlo.
Roblox, la plataforma de juegos en línea muy popular entre niños y adolescentes , está lanzando una versión de código abierto de un sistema de inteligencia artificial que, según dice, puede ayudar a detectar de forma preventiva el lenguaje depredador en los chats del juego.
Esta medida se produce en un momento en que la compañía enfrenta demandas y críticas que la acusan de no hacer lo suficiente para proteger a los niños de los depredadores. Por ejemplo, una demanda presentada el mes pasado en Iowa alega que una niña de 13 años conoció a un depredador adulto en Roblox, quien luego fue secuestrada, traficada y violada en varios estados. La demanda, presentada ante el Tribunal de Distrito de Iowa en el Condado de Polk, afirma que las características de diseño de Roblox convierten a los niños que lo usan en “presa fácil para los pedófilos”.
Roblox afirma que se esfuerza por hacer que sus sistemas sean lo más seguros posible de forma predeterminada, pero señala que “ningún sistema es perfecto, y uno de los mayores desafíos en la industria es detectar daños críticos como el posible peligro para los niños”.
El sistema de inteligencia artificial, llamado Sentinel, ayuda a detectar señales tempranas de posible peligro para los niños, como el lenguaje sexualmente explotador. Roblox afirma que el sistema ha llevado a la compañía a presentar 1200 denuncias de posibles intentos de explotación infantil al Centro Nacional para Niños Desaparecidos y Explotados en el primer semestre de 2025. La compañía está ahora en proceso de publicarlo en código abierto para que otras plataformas también puedan usarlo.