Anthropic propone bloquear modelos si hay riesgo de 50 muertes
La IA de Anthropic presenta un proyecto de ley en EE.UU. para detener modelos riesgosos mediante evaluadores independientes y revisión judicial.
Una propuesta regulatoria con cepo duro
Anthropic está tanteando a los legisladores de Estados Unidos con un borrador de ley de seguridad de la IA que marca una línea roja concreta: la posibilidad de bloquear la distribución de un modelo si se detecta un "riesgo predecible e inminente". Según la información revelada por Politico y confirmada por la compañía, este umbral se alcanza si hay un riesgo de muerte para más de 50 personas o si se estima un daño patrimonial superior a los mil millones de dólares.
Mecanismos de evaluación y control
La norma no deja la decisión en manos de las empresas, sino que sugiere la creación de un cuerpo de evaluadores independientes registrados en el Departamento de Comercio. Estos expertos podrían ser remunerados por los laboratorios de IA, siempre que el pago no dependa del resultado de la evaluación. Si estos evaluadores determinan que existe un riesgo catastrófico, dispondrían de 72 horas para alertar al Departamento de Comercio, quien a su vez tendría que solicitar a un juez de Washington D.C. el cese de la liberación del modelo. La ley prohíbe expresamente que ninguna agencia federal tenga la discreción de detener el modelo por su cuenta.
Contexto y diferencias con la industria
Esta postura contrasta con la de otras grandes tecnológicas. Mientras que Jensen Huang, de Nvidia, ha argumentado que la industria no necesita nuevas leyes, Anthropic propone un marco más estructurado, aunque sigue siendo más limitado que un organismo regulatorio autónomo similar a la FINRA, como ha sugerido Demis Hassabis de DeepMind. Los riesgos descritos, como armas biológicas o evasión de controles, parecen algo distantes de las preocupaciones actuales más inmediatas, centradas en el hackeo agéntico y la falta de controles de seguridad básicos en los modelos que interactúan con internet.
💡 Opinión iaPasión
Esta propuesta es útil para empresas que buscan un marco de cumplimiento claro que valide sus controles de seguridad ante inversores. Sin embargo, no sirve como guía práctica para el desarrollo cotidiano, ya que los umbrales son extremos y el proceso burocrático es lento. Es una apuesta por la responsabilidad legal antes que por la agilidad innovadora.