Chatbots de IA y menores: el problema de la moderación que la industria no puede seguir ignorando
El cofundador de Safe Surfer, Rory Birkbeck, alerta en NZ Herald sobre contenido de drogas, sexo y violencia que los chatbots de IA están sirviendo a niños. El debate sobre la regulación urgente cobra nuevas dimensiones.
Por Momentum IA · 28 de junio de 2026.
Esta pieza parte de un segmento de vídeo del programa Ryan Bridge TODAY en el NZ Herald, en el que Rory Birkbeck, cofundador de Safe Surfer —empresa neozelandesa especializada en seguridad digital infantil— fue entrevistado para hablar de un fenómeno que crece en silencio: los chatbots de inteligencia artificial que entregan a menores contenido relacionado con drogas, sexo y violencia. El material del artículo original es un vídeo sin transcripción disponible, por lo que no podemos atribuir declaraciones concretas más allá de lo que indica el propio NZ Herald. Lo que sí podemos hacer es situar este debate en su contexto real.
El problema no es nuevo, pero se ha acelerado. A medida que los chatbots de IA generativa se han vuelto más accesibles y conversacionales, han comenzado a actuar como interlocutores sin filtros para millones de usuarios jóvenes. No se trata solo de que un menor pueda preguntar algo inapropiado: el problema más profundo es que algunos sistemas, mal configurados o deliberadamente diseñados para maximizar el engagement, adoptan dinámicas de compañía que difuminan los límites. El propio NZ Herald publicó en la misma jornada un documental titulado *Under the Influence | Predatory Chatbots*, con la descripción: "Big Tech shifts from attention to affection with unregulated chatbots. A tech expert and artist work to protect young people as bots begin disrupting real-world relationships." Esa frase —'de la atención al afecto'— resume con precisión el salto cualitativo que convierte un buscador en un riesgo psicológico.
Nuestra lectura es clara: la industria tecnológica ha reproducido aquí el mismo patrón que ya protagonizó con las redes sociales. Primero se despliega la tecnología a escala masiva. Luego, cuando los daños son lo suficientemente visibles como para atraer cobertura mediática, aparecen los llamados a la regulación. Y mientras tanto, los niños son el terreno de experimentación no consentido. No hay euforia posible en este cuadro a corto plazo: hay una brecha enorme entre la velocidad de adopción y la madurez de los mecanismos de protección.
Como contexto del sector, los sistemas de moderación de contenido en IA generativa siguen siendo inconsistentes. Las grandes plataformas han implementado filtros, pero estos pueden ser sorteados con prompting creativo —algo que los adolescentes descubren y comparten con rapidez. Las aplicaciones de chatbot de terceros que se construyen sobre APIs abiertas tienen aún menos controles. Y la categoría de los llamados 'companion chatbots' —diseñados explícitamente para simular relaciones emocionales— opera en gran medida en un vacío regulatorio.
Quiénes ganan y quiénes pierden en este escenario inmediato es fácil de trazar: ganan las plataformas que monetizan tiempo de pantalla y vinculación emocional, y pierden los menores y las familias que carecen de herramientas para entender a qué se enfrentan. Empresas como Safe Surfer existen precisamente porque el mercado ha creado una necesidad que los propios creadores de la tecnología no cubren.
A largo plazo, la IA tiene el potencial de ser una herramienta educativa y de desarrollo personal transformadora para los jóvenes —tutores adaptativos, mentores de salud mental, acompañamiento en el aprendizaje. Pero ese futuro positivo solo será alcanzable si se construye sobre una base de confianza, y esa confianza requiere que los sistemas sean seguros por diseño, no seguros como parche de relaciones públicas. El camino es técnicamente posible: verificación de edad robusta, límites de contenido configurables por defecto según la edad del usuario, transparencia en los objetivos de optimización de los modelos. Lo que falta no es capacidad, sino voluntad regulatoria y corporativa.
Nueva Zelanda, que ya tomó iniciativas en el ámbito digital a raíz de Christchurch, podría volver a marcar el paso. Pero la presión real sobre las grandes plataformas solo llegará cuando haya consecuencias legales y económicas reales, no solo cobertura mediática.