La historia de la IA

SWE-bench

Etapa 5 · IA generativa, razonamiento y agentes (2022–2026) › Agentes

Linaje
Acción en el mundo
Tipo
Implementación

Quién

Universidad de Princeton, Universidad de Chicago

Qué ocurrió

Investigadores de Princeton y la Universidad de Chicago presentan SWE-bench: 2.294 problemas reales de programación sacados de incidencias de GitHub en 12 proyectos populares de Python. El mejor modelo, Claude 2, resuelve el 1,96 %.

Qué aportó

Mide la resolución de incidencias reales de GitHub y se convierte en la prueba de referencia de los agentes de programación. En noviembre de 2025 la variante Verified llega al 80,9 %.

Desarrollo

Las pruebas de programación de la época pedían escribir funciones cortas y aisladas. SWE-bench planteó algo mucho más cercano al trabajo real: se da al modelo el código completo de un proyecto y la descripción de una incidencia, y tiene que modificar el código para resolverla. El resultado se comprueba con las pruebas que escribieron los propios desarrolladores al corregirla.

Los 2.294 problemas venían de incidencias y de las correcciones que las cerraron en 12 repositorios populares de Python. Muchas exigían cambios coordinados en varias funciones, clases o archivos, leer mucho código y razonar en varios pasos. Los mejores modelos de 2023 solo resolvían los casos más simples: Claude 2 llegó al 1,96 %.

En agosto de 2024 OpenAI publicó SWE-bench Verified, un subconjunto de 500 problemas revisados por personas, y los laboratorios la citaron en sus lanzamientos, como los de Claude 3.7 Sonnet y Gemini 2.5 Pro. En noviembre de 2025, Claude Opus 4.5 llegó al 80,9 %.

El éxito trajo problemas. Los modelos habían leído en su entrenamiento los repositorios de los que salían las tareas, y algunos reproducían de memoria las correcciones originales. El 23 de febrero de 2026 OpenAI explicó que dejaba de usar Verified: al revisar 138 problemas que sus modelos fallaban a menudo, encontró defectos en las pruebas o en los enunciados del 59,4 %. Recomendó como sustituta SWE-Bench Pro, de Scale AI, que mantiene en secreto parte de sus tareas.

Lleva a

  • Horizonte temporal de los agentes (18 de marzo de 2025)

    Influencia directa documentada

    METR mide también el horizonte temporal en SWE-bench Verified, donde se duplica en menos de tres meses, y lo compara con su propia tendencia

Hilos que pasan por aquí

Bibliografía

Fuente original

Cómo citar

«SWE-bench». En La historia de la IA, revisión del 13 de noviembre de 2026. https://thehistoryofai.com/es/hito/swe-bench

Última revisión de esta ficha: 13 de noviembre de 2026.

Abrir en la cronología interactiva