SWE-bench
Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Agentes
- Linaje
- Acción en el mundo
- Tipo
- Implementación
Quién
Universidad de Princeton, Universidad de Chicago
Qué ocurrió
Investigadores de Princeton y la Universidad de Chicago presentan SWE-bench: 2.294 problemas reales de programación sacados de incidencias de GitHub en 12 proyectos populares de Python. El mejor modelo, Claude 2, resuelve el 1,96 %.
Qué aportó
Mide la resolución de incidencias reales de GitHub y se convierte en la prueba de referencia de los agentes de programación. En noviembre de 2025 la variante Verified llega al 80,9 %.
Desarrollo
Las pruebas de programación de la época pedían escribir funciones cortas y aisladas. SWE-bench planteó algo mucho más cercano al trabajo real: se da al modelo el código completo de un proyecto y la descripción de una incidencia, y tiene que modificar el código para resolverla. El resultado se comprueba con las pruebas que escribieron los propios desarrolladores al corregirla.
Los 2.294 problemas venían de incidencias y de las correcciones que las cerraron en 12 repositorios populares de Python. Muchas exigían cambios coordinados en varias funciones, clases o archivos, leer mucho código y razonar en varios pasos. Los mejores modelos de 2023 solo resolvían los casos más simples: Claude 2 llegó al 1,96 %.
En agosto de 2024 OpenAI publicó SWE-bench Verified, un subconjunto de 500 problemas revisados por personas, y los laboratorios la citaron en sus lanzamientos, como los de Claude 3.7 Sonnet y Gemini 2.5 Pro. En noviembre de 2025, Claude Opus 4.5 llegó al 80,9 %.
El éxito trajo problemas. Los modelos habían leído en su entrenamiento los repositorios de los que salían las tareas, y algunos reproducían de memoria las correcciones originales. El 23 de febrero de 2026 OpenAI explicó que dejaba de usar Verified: al revisar 138 problemas que sus modelos fallaban a menudo, encontró defectos en las pruebas o en los enunciados del 59,4 %. Recomendó como sustituta SWE-Bench Pro, de Scale AI, que mantiene en secreto parte de sus tareas.
Lleva a
Horizonte temporal de los agentes (18 de marzo de 2025)
Influencia directa documentada
METR mide también el horizonte temporal en SWE-bench Verified, donde se duplica en menos de tres meses, y lo compara con su propia tendencia
Hilos que pasan por aquí
- De responder a actuar (paso 3 de 9)
Bibliografía
Fuente original
- SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (arXiv:2310.06770) (se abre en una pestaña nueva). Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press y Karthik Narasimhan, 2023. licencia libre: CC BY 4.0
- Claude 3.7 Sonnet and Claude Code (Anthropic, 24 de febrero de 2025) (se abre en una pestaña nueva). Anthropic, 2025
Estudios y contexto
- Introducing SWE-bench Verified (OpenAI, 13 de agosto de 2024) (se abre en una pestaña nueva). OpenAI, 2024
- Anuncio de Gemini 2.5 (blog de Google, 25 de marzo de 2025) (se abre en una pestaña nueva). Koray Kavukcuoglu, 2025
- Introducing Claude Opus 4.5 (Anthropic, 24 de noviembre de 2025) (se abre en una pestaña nueva). Anthropic, 2025
- Why we no longer evaluate SWE-bench Verified (OpenAI, 23 de febrero de 2026) (se abre en una pestaña nueva). OpenAI, 2026
- SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks? (arXiv:2509.16941) (se abre en una pestaña nueva). Xiang Deng y otros (Scale AI), 2025
Cómo citar
«SWE-bench». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/swe-bench
Última revisión de esta ficha: 13 de noviembre de 2026.