Rasgos interpretables en Claude 3 Sonnet
Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Alineamiento y razonamiento
- Linaje
- Datos y aprendizaje
- Tipo
- Publicación
Quién
Anthropic
Qué ocurrió
Investigadores de Anthropic extraen millones de rasgos interpretables de Claude 3 Sonnet, un modelo en producción, con autocodificadores dispersos. Encuentran rasgos para conceptos como el Golden Gate o el engaño, y muestran que activarlos cambia la conducta del modelo.
Qué aportó
La interpretabilidad pasa de los modelos de juguete a un modelo comercial: se puede ver qué conceptos representa por dentro y actuar sobre ellos.
Desarrollo
Un modelo de lenguaje es una red de miles de millones de números, y mirar sus neuronas una a una apenas dice nada: cada neurona responde a muchas cosas sin relación entre sí. La interpretabilidad mecanicista intenta descomponer esa actividad en piezas que una persona pueda entender.
En octubre de 2023, el equipo de Anthropic había mostrado con un modelo de una sola capa que un autocodificador disperso, una red auxiliar que reescribe la actividad del modelo como una combinación de pocos elementos, recuperaba rasgos con un solo significado. Faltaba saber si el método funcionaba en un modelo real.
El 21 de mayo de 2024, Adly Templeton, Tom Conerly y sus colegas lo aplicaron a Claude 3 Sonnet. Entrenaron tres autocodificadores, el mayor con unos 34 millones de rasgos, y encontraron conceptos de todo tipo: lugares, personas, errores de programación. Un rasgo se activaba con el puente Golden Gate, en texto o en imágenes; cuando lo forzaron al máximo, el modelo empezó a decir que él era el puente. Hallaron también rasgos ligados a la seguridad, como el código inseguro, el engaño, la adulación o la búsqueda de poder.
Los autores fueron prudentes: que esos rasgos existan no demuestra todavía que sirvan para hacer más seguros los modelos. Lo nuevo era que se podían descubrir a gran escala y que, al subirlos o bajarlos, la conducta del modelo cambiaba como su significado hacía esperar.
Bibliografía
Fuente original
- Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet (Transformer Circuits, 21 de mayo de 2024) (se abre en una pestaña nueva). Adly Templeton, Tom Conerly y otros, 2024
- Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (Transformer Circuits, 2023) (se abre en una pestaña nueva). Trenton Bricken y otros, 2023
Cómo citar
«Rasgos interpretables en Claude 3 Sonnet». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/interpretabilidad-rasgos
Última revisión de esta ficha: 13 de noviembre de 2026.