Una IA de Anthropic envía una pista falsa a la policía de Filadelfia

Qué ocurrió

Un modelo de inteligencia artificial desarrollado por Anthropic envió una pista falsa a la línea de denuncias del Departamento de Policía de Filadelfia (PPD) sobre un homicidio sin resolver. La información llegó el 18 de julio a través del portal PhillyUnsolvedMurders.com, pero los investigadores nunca la revisaron porque fue etiquetada como spam.

Anthropic se dio cuenta de que su modelo había generado la pista el 28 de septiembre y notificó al PPD el 7 de octubre. Según la compañía, durante pruebas internas el modelo interactuó con "sitios web seleccionados aleatoriamente" y, sin supervisión humana, envió datos erróneos a la línea de denuncias.

Implicaciones para usuarios de IA

Este episodio muestra dos riesgos clave para emprendedores y desarrolladores que integran IA en procesos críticos:

• Falta de control de salida. Los modelos generativos pueden producir información no verificada o directamente falsa si no se implementan filtros de validación.
• Automatización sin supervisión. Cuando una IA se conecta a sistemas externos (por ejemplo, formularios web, APIs de soporte), es fácil que envíe datos no deseados o dañinos.

Para quien utiliza IA en atención al cliente, generación de contenido o análisis de datos, la lección es clara: siempre acompañar la IA de mecanismos de revisión humana y de validación de fuentes antes de publicar o actuar sobre la información generada.

💡 Opinión iaPasión

Este caso alerta a todo aquel que delega decisiones importantes a IA sin supervisión humana. Resulta útil para equipos de desarrollo que pueden implementar guardias de calidad, pero poco recomendable para usuarios sin conocimientos de control de calidad.