El CEO de Anthropic pide frenar el ritmo de la IA y abre sus modelos a evaluadores externos

Anthropic quiere frenar la carrera por la IA

En una entrevista exclusiva y un extenso ensayo publicado en su blog personal, Dario Amodei, CEO de Anthropic, ha declarado que ha llegado el momento de reducir la velocidad del desarrollo de modelos de inteligencia artificial. Según Amodei, la presión por lanzar cada vez modelos más potentes está superando la capacidad de crear salvaguardas adecuadas y de que los reguladores evalúen los riesgos.

Plan de tres pasos para "pace the frontier"

Amodei propone un plan de tres fases:

• Acceso a evaluadores externos: Anthropic abrirá sus modelos a organizaciones independientes como METR para que revisen la adherencia a prácticas de seguridad y compromisos éticos.
• Cooperación sectorial: La industria debe unirse bajo un marco común, posiblemente con la participación de gobiernos, para establecer normas y protocolos de evaluación.
• Regulación proactiva: Los reguladores deben diseñar normas que anticipen riesgos, en lugar de reaccionar después de incidentes.

El primer paso ya está en marcha, con Anthropic proporcionando acceso sin precedentes a sus modelos más avanzados. La compañía afirma que esta medida es "unilateral" y busca crear un precedente de transparencia.

¿Para qué sirve?

Esta iniciativa no es una herramienta en sí, sino un marco de gobernanza para la IA. Su objetivo es:

• Garantizar que los modelos cumplan con estándares de seguridad antes de su despliegue comercial.
• Permitir a investigadores externos identificar sesgos, vulnerabilidades y comportamientos no deseados.
• Facilitar la creación de políticas públicas basadas en evidencia real y no en especulaciones.

Reacciones de la comunidad

La propuesta ha generado debate. Algunos expertos la consideran un paso crucial para evitar una carrera descontrolada, mientras que otros temen que la apertura pueda ser usada para replicar modelos sin la adecuada supervisión. Sin embargo, la mayoría coincide en que la falta de supervisión externa es uno de los mayores riesgos actuales.

💡 Opinión iaPasión

Desde iaPasión valoramos la iniciativa de Anthropic como un movimiento necesario en un ecosistema que avanza a gran velocidad. Abrir los modelos a evaluadores independientes aporta transparencia y genera confianza, pero el éxito dependerá de la coordinación entre empresas y reguladores. En nuestra escala de 1 a 5, le damos un 4 por su audacia y el potencial de sentar bases sólidas para una IA responsable.