Evaluación de Agentes — Cómo Medir lo que Hace el Código

1.El Desafío de Evaluar Agentes

Evaluar agentes es más complejo que evaluar modelos. Un agente no es solo un LLM — es un sistema compuesto por modelo + harness + tools + prompts. El harness (o scaffold) importa tanto como el modelo subyacente, y cambiarlo puede producir diferencias de hasta 16 puntos porcentuales en rendimiento.

2.SWE-bench — El Benchmark Estándar

¿Qué es? Benchmark que evalúa LLMs resolviendo issues reales de GitHub. Dado un codebase + issue, el agente debe generar un patch que pase los tests. Publicado en NeurIPS 2024 por Princeton.

Variantes de SWE-bench

Últimos Resultados (Junio 2026)

Progresión Histórica de SWE-bench Verified

3.OpenCode — Evaluación

OpenCode no tiene un evaluation framework built-in. Sin embargo, ofrece múltiples herramientas para monitoreo, cost tracking, y benchmarking externo que permiten evaluar el rendimiento del agente.

CLI Built-in: opencode stats

Comando que agrega estadísticas de sesión:

Cost Tracking Built-in

OpenCode mantiene un registro de costos en SQLite (cost REAL DEFAULT 0 por sesión). La función getUsage() en session.ts calcula costo basado en modelo + tokens (input, output, cache) con manejo específico de cache Anthropic/Bedrock/Vertex.

SWE-bench Evaluation Tool — PR #10699

MERGED Herramienta de evaluación SWE-bench añadida al core de OpenCode. Carga datasets de HuggingFace, clona repos, genera patches, y produce output en formato predictions.jsonl.

Frameworks Externos

• agent-eval-opencode: Framework de testing de terceros. Ejecuta EVAL.ts contra repos clones, mide tool calls, files modificados, errores. Soporta A/B testing entre configuraciones.
• opencode-bench (repo oficial separado, github.com/anomalyco/opencode-bench): Framework de benchmarking oficial. Usa 3 LLM judges independientes, 5 dimensiones de scoring — API Signature (20%), Logic Equivalence (30%), Integration (20%), Test Coverage (20%), Checks (10%). Variance-penalized aggregation.

OpenTelemetry

Flag experimental experimental.openTelemetry. 7+ plugins OTEL disponibles. Guía oficial de integración con SigNoz.

Plugins de Monitoreo

4.Codex CLI — Evaluación

SWE-bench Results

Expert-SWE (Benchmark Interno)

Pruebas en tareas humanas de 20h de duración. GPT-5.5 alcanza 73.1% de éxito.

Terminal-Bench 2.0

Benchmark para tareas CLI/DevOps. GPT-5.5 obtiene 82.7% — primer lugar.

Eval Methodology

1. Deterministic checks — Scripts que computan constraint violations automáticamente
2. LLM-as-a-judge — Scoring basado en rúbrica
3. codex exec --json — Produce JSONL trace para scoring automático
4. --output-schema — Structured output con JSON Schema
5. HALO — Feedback loop que ranks cambios de harness desde traces + evals

Built-in Eval Skill

$promptfoo-evals — Skill integrado para structured evaluations.

OpenTelemetry

Opt-in via [otel] en config.toml:

Cost Tracking

5.Claude Code — Evaluación

SWE-bench Results

Anthropic Eval Engineering

Fuente: anthropic.com/engineering/demystifying-evals-for-ai-agents

Principio fundamental — Harness + Model Distinction: "Claude Code is a flexible agent harness... When we evaluate 'an agent,' we're evaluating the harness and the model working together."

Tres tipos de grader:

Métricas pass@k y pass^k: pass@k = al menos 1 éxito en k intentos. pass^k (pass wedge) = éxito en TODOS los k intentos. A k=10: pass@k → 100%, pass^k → 0%. La consistencia (pass^k) es más relevante para producción.

OpenTelemetry / Monitoring

Fuente: code.claude.com/docs/en/monitoring-usage

Traces (beta): interaction → llm_request → hook → tool (blocked_on_user | execution)

Enterprise Benchmarks

• Costo promedio: ~$13/dev/día activo, $150-250/dev/mes
• <$30/día para 90% de usuarios
• Agent teams: ~7x más tokens que sesiones estándar

Claude Code Review (lanzado Mar 2026)

Sistema multi-agent de PR review:

• 84% de PRs grandes con hallazgos
• 7.5 issues promedio por review
• <1% false positive rate
• ~20 min por review
• $15-25/PR

Measuring Agent Autonomy

Fuente: anthropic.com/news/measuring-agent-autonomy

• 99.9th percentile turn duration casi se duplicó (Oct 2025–Jan 2026)
• Internal success rate en tareas desafiantes se duplicó
• Intervenciones humanas promedio: de 5.4 a 3.3 por sesión
• Usuarios experimentados (>750 sesiones) auto-aprueban >40%
• Mediana turn duration: ~45s (estable)

6.Tabla Comparativa de Evaluación

7.Métricas Clave

8.Frameworks de Evaluación

LangSmith (LangChain)

• Framework-agnostic. 3 tipos de evaluación: Final response, Trajectory, Single step
• LLM-as-judge, heurísticos, humanos (annotation queues)
• LangSmith Engine: Detecta issues recurrentes, diagnostica causa raíz, propone fix, despliega evaluador automáticamente
• LangSmith CLI + Skills: Claude Code pasó de 17% → 92% en tareas LangSmith

Weights & Biases (Weave)

• Decorador @weave.op(). Evaluaciones offline + online
• EvaluationLogger: scorers custom, LLM-as-judge, comparación entre experimentos
• Trace tree con flame graph, costo por op, latencia

Arize Phoenix

• Open-source, construido sobre OpenTelemetry + OpenInference
• Tracing de spans: AGENT, LLM, TOOL, RETRIEVER, GUARDRAIL, EVALUATOR
• Experimentos con datasets desde traces. Arize AX: Airflow Provider (95+ operators)

OpenTelemetry + OpenInference

Atributos estándar: gen_ai.operation.name, gen_ai.request.model, gen_ai.input.messages. Cobertura: Anthropic, OpenAI, AWS Bedrock, Azure AI Inference, MCP.

9.Research: Agent-as-a-Judge

Agent-as-a-Judge (ICML 2025)

Framework que usa agentic systems para evaluar agentes step-by-step. Aplicado a code generation con DevAI (55 tasks). Resultados contundentes:

• Supera dramáticamente a LLM-as-a-Judge tradicional
• Consistency con humanos: 0.3% discrepancia (vs 31% con single LLM judge)
• El agente evaluador puede seguir el razonamiento del agente evaluado, detectar errores sutiles, y proporcionar feedback detallado

AJ-Bench (2026)

Primer benchmark para evaluar Agent-as-a-Judge. 155 tasks, 516 trajectories.

• Agent-as-a-Judge: +0.13 F1 sobre LLM-as-a-Judge
• Pero solo 0.72 F1 promedio — mucho margen de mejora
• La evaluación de agentes por agentes es prometedora pero no madura

Multi-Agent-as-Judge (MAJ-Eval)

Auto-construcción de personas evaluadoras desde documentos. Debate multi-agente in-group para converger en una evaluación. Reduce bias individual y mejora la robustez del scoring.

10.El Harness Effect — Modelo vs Scaffold

Mismo Modelo, Distinto Harness

¿Qué hace un buen harness?

1. System prompt optimizado — Instrucciones claras, ejemplos, formato de output
2. Tool descriptions precisas — Descripciones que guían al modelo a usar la herramienta correcta
3. Context management inteligente — Qué incluir en el contexto, qué comprimir, qué omitir
4. Feedback loop — Capacidad de autocorrección basada en errores
5. Planning — Descomposición de tareas complejas en pasos manejables

11.Cost-Aware Evaluation — Success per Dollar

El score absoluto en benchmarks no cuenta toda la historia. La métrica relevante para producción es success per dollar — cuánto cuesta completar una tarea con éxito.

Coding Agent Index (Artificial Analysis)

12.Tendencias 2026 en Evaluación de Agentes

13.Conclusión de la Serie — 9 Clases de Plataformas Agenticas

Índice de la Serie

📚 Fuentes Verificadas

Todos los datos, scores y afirmaciones en esta clase están respaldados por documentación oficial, papers académicos y benchmarks públicos verificados a Junio 2026.

SWE-bench

• SWE-bench Leaderboard — Scores oficiales de todos los modelos y agentes
• Princeton NLP — SWE-bench GitHub — Código fuente, datasets, documentación
• SWE-bench Multilingual — Extensión a 9 lenguajes (arXiv 2024)
• SWE-bench Pro — Multi-file, long horizon (arXiv 2025)
• Revisión de contaminación en SWE-bench — 59.4% de hard tasks con flawed test cases
• SWE-bench Live — Benchmarks dinámicos mantenidos por Microsoft

OpenCode

• OpenCode Docs — Documentación oficial, stats, cost tracking, OTEL
• OpenCode GitHub — Código fuente, PR #10699 (SWE-bench tool)
• opencode-bench — Framework de benchmarking oficial
• SigNoz + OpenCode — Guía oficial de observabilidad
• npm: opencode-* plugins — Plugins de monitoreo (usage, costs, quota, analytics)

Codex CLI

• Codex CLI Docs — Documentación oficial, eval methodology, OTEL
• Codex CLI Pricing — Cost tracking, modelos, cost per task
• Codex Advanced Config — Structured output, JSON Schema, OTEL config
• Codex CLI Paper — Expert-SWE, Terminal-Bench 2.0, HALO

Claude Code

• Claude Code Docs — Documentación oficial, configuración, monitoreo
• Monitoring Usage — Métricas OTEL, traces, dashboards
• Costs Guide — Cost tracking enterprise, benchmarks de costo
• Demystifying Evals for AI Agents — Eval engineering, pass@k, pass^k, grader types
• Measuring Agent Autonomy — Turn duration, success rate, human intervention trends
• Claude Code Review — Multi-agent PR review, métricas de rendimiento

Frameworks de Evaluación

• LangSmith Docs — Evaluation, annotation queues, LangSmith Engine
• Weights & Biases Weave Docs — Trace tree, EvaluationLogger, scoring
• Arize Phoenix Docs — OpenTelemetry tracing, experimentos, Airflow
• OpenTelemetry Specification — Span kinds, atributos estándar
• OpenInference — Extensiones de OpenTelemetry para IA generativa

Research

• Agent-as-a-Judge (ICML 2025) — Agentes evaluando agentes, DevAI benchmark
• AJ-Bench (2026) — Benchmark para Agent-as-a-Judge, 155 tasks
• MAJ-Eval: Multi-Agent-as-Judge — Auto-construcción de personas evaluadoras
• CORE-Bench — Scaffolding effects en agentes de código

Cost-Aware Evaluation

• Artificial Analysis — Coding Agent Index, success per dollar benchmarks
• Coding Agents Leaderboard — Comparativa cost/performance de agentes

Tendencias y Análisis

• FeatureBench — Benchmark de desarrollo feature-oriented
• SWE-bench Live — Benchmark dinámico de Microsoft
• SWE-rebench V2 — 32K+ tasks post-cutoff

Última verificación: Junio 2026. Los scores y precios pueden cambiar; consulte las fuentes oficiales para información actualizada.