Computer Use & Desktop Automation — Interacción con Aplicaciones Desktop

1Introducción — ¿Qué es Computer Use?

Computer Use (también llamado GUI Agent o Desktop Automation Agent) es la capacidad de un modelo de lenguaje de procesar capturas de pantalla, decidir acciones de interfaz (clic, teclear, arrastrar), y ejecutarlas mediante coordinación con mouse y teclado. El ciclo fundamental es:

/* Ciclo básico de Computer Use */
1. Screenshot → modelo analiza píxeles
2. Modelo decide acción (tipo + coordenadas + parámetros)
3. Sistema ejecuta acción sobre la interfaz real
4. Nuevo screenshot → loop

Este paradigma es radicalmente distinto de las APIs tradicionales (REST, SDKs) porque opera sobre la interfaz visual tal como la ve un humano. No requiere integración programática con la aplicación objetivo.

¿Por qué es importante?

• Testing automatizado — Pruebas E2E sobre GUIs reales sin depender de selectores DOM o frameworks de testing
• RPA (Robotic Process Automation) — Automatización de flujos de trabajo multi-app que carecen de API
• Data entry — Ingesta de datos desde aplicaciones legacy sin integración programática
• Flujos multi-aplicación — Encadenar acciones entre Chrome, Excel, Slack, y terminal en una sola sesión
• Accesibilidad — Asistentes que operan la interfaz por usuarios con discapacidad motriz

2Codex Desktop App (OpenAI) — La Solución GA

Plugin Computer Use Integrado

La Desktop App de Codex incluye un Plugin Computer Use que se activa desde la interfaz de la aplicación. El plugin implementa el ciclo screenshot → decisión → acción como un sandboxed executive loop con aprobación por acción.

Estado

GA General Availability desde Abril 2026. No es preview ni beta — es la única plataforma con Computer Use en producción.

Acciones Soportadas

@AppName Syntax — Control por Aplicación

La innovación más relevante de Codex Desktop es la sintaxis @AppName que permite dirigir acciones a aplicaciones específicas:

/* Ejemplos de @AppName syntax */
"Abre @Chrome y navega a openai.com"
"Calcula 15% de 342 en @Calculator"
"Envía un mensaje en @Slack al canal #general"
"Crea una tabla en @Excel con estos datos"
"Busca el email de John en @Mail"

Esto permite operaciones multi-app simultáneas sin intervención del usuario. El modelo identifica la ventana target, la activa, ejecuta la acción, y opcionalmente retorna a la app anterior.

Soporte por Plataforma

• macOS: Soporte completo con Background Mode — la Desktop App sigue funcionando incluso con la Mac bloqueada. Incluye Locked Use (operación sin supervisión visual) y multi-app simultáneo.
• Windows: Solo Foreground Mode — la aplicación debe estar en primer plano y toma control de mouse/teclado. Bugs conocidos: error "desktop control tool unavailable" (issue #26004).

Restricciones Regionales

API Alternativa — Responses API con tool computer

Además de la Desktop App, OpenAI ofrece Computer Use programáticamente vía la Responses API con la tool computer:

• GA desde abril 2026
• Modelos: gpt-5.4 y superiores
• 3 modos de integración:
  • Native — OpenAI maneja el display virtual (ideal para entornos cloud)
  • Custom harness — El desarrollador provee el display y el loop de captura
  • Code-execution — Usa el sandbox de code execution para driving browsers headless
• Sin restricciones regionales (a diferencia de la Desktop App)

3Claude / Claude Code (Anthropic) — Beta + Research Preview

Anthropic ofrece Computer Use en tres modalidades distintas, cada una en un estado de madurez diferente:

3.1 API Computer Use (Beta)

La modalidad más madura. Disponible como beta en la API de Anthropic desde octubre 2024.

• Versión actual: computer_20251124
• Modelos compatibles: Opus 4.8, 4.7, 4.6; Sonnet 4.6; Haiku 4.5
• Requiere beta header: anthropic-beta: computer-use-2025-11-24

Acciones Soportadas

3.2 Claude Code CLI — Research Preview (Marzo 2026)

Desde la semana 13-14 de 2026, Claude Code incluye Computer Use como Research Preview:

• Built-in MCP server computer-use — se activa vía /mcp
• Per-app approval por sesión — el usuario aprueba cada aplicación que el agente quiere controlar
• Lock machine-wide — solo una sesión de Computer Use puede estar activa a la vez
• Solo macOS — no disponible en Windows ni Linux
• Solo Pro/Max — requiere suscripción paga

3.3 Claude Desktop App — Research Preview (Marzo 2026)

• Activación: Toggle en Settings > General > Computer Use
• Cowork mode: El agente opera de forma autónoma para knowledge work (investigación, análisis de datos, preparación de informes)
• Plataformas: macOS y Windows (pero Windows limitado a foreground)
• Comparte el mismo lock machine-wide que Claude Code CLI

3.4 Ecosistema MCP de Desktop Automation

Anthropic tiene el ecosistema MCP más grande para desktop automation, con 10+ servidores open-source:

Limitaciones de Claude Computer Use

• Costo elevado: $2–6 por ~20 pasos (acciones + análisis de screenshots)
• Latencia: 2–8 segundos por acción (dependiendo del modelo y resolución de screenshot)
• Suscripción Pro/Max requerida en CLI y Desktop App
• Estado beta/preview — cambios frecuentes, sin garantías de estabilidad
• Accuracy variable: Opus 4.8 reporta ~65% en benchmarks de GUI navigation (SeeAct, OSWorld)

4OpenCode — El que NO tiene Computer Use Nativo

Browser built-in — En desarrollo

El issue #30755 para un browser built-in está abierto y asignado a Brendonovich del core team. Cuando se implemente, permitiría navegación web nativa sin depender de herramientas externas.

Bash Indirecto — La alternativa actual

OpenCode puede controlar el desktop mediante comandos shell ejecutados por el modelo. Es un enfoque indirecto, frágil y OS-dependent:

Linux

# Screenshots
import subprocess
subprocess.run(["scrot", "-d", "1", "/tmp/screen.png"])  # X11
subprocess.run(["grim", "/tmp/screen.png"])                   # Wayland

# Mouse/keyboard (X11)
subprocess.run(["xdotool", "mousemove", "100", "200"])
subprocess.run(["xdotool", "click", "1"])
subprocess.run(["xdotool", "type", "Hello World"])

# Mouse/keyboard (Wayland)
subprocess.run(["ydotool", "mousemove", "--x", "100", "--y", "200"])

macOS

# Screenshot
subprocess.run(["screencapture", "-C", "/tmp/screen.png"])

# Mouse/keyboard
subprocess.run(["cliclick", "m:100,200"])     # move
subprocess.run(["cliclick", "c:100,200"])     # click
subprocess.run(["cliclick", "t:Hello World"])  # type

# Clipboard
subprocess.run(["pbcopy"], input="text", text=True)
result = subprocess.run(["pbpaste"], capture_output=True, text=True)

Windows

# PowerShell SendKeys
powershell "Add-Type -AssemblyName System.Windows.Forms; [System.Windows.Forms.SendKeys]::SendWait('Hello World')"

# Screenshot via PowerShell
powershell "Add-Type -AssemblyName System.Drawing; ..."

Cross-platform (Python)

import pyautogui

# Screenshot
screenshot = pyautogui.screenshot("/tmp/screen.png")

# Mouse
pyautogui.moveTo(100, 200)
pyautogui.click()
pyautogui.drag(50, 0, duration=0.5)

# Keyboard
pyautogui.write("Hello World")
pyautogui.hotkey("ctrl", "c")

MCP y Plugins Comunitarios

OpenCode puede compensar su falta de Computer Use nativo mediante el ecosistema MCP:

• Browser MCP — Navegación web controlada (Playwright/Puppeteer subyacente)
• Playwright MCP — Automatización de browsers con selectores CSS/XPath
• opencode-browser — Plugin comunitario (2 variantes) con automation básica
• Los MCP servers del ecosistema Claude (macOS-MCP, computer-use-mcp, etc.) son compatibles con OpenCode vía protocolo MCP estándar

Ventaja Estratégica: Model-Agnóstico

OpenCode no está locked-in a un proveedor de modelos. Puede usar cualquier LLM (OpenAI, Anthropic, Google, Mistral, open-source via Ollama) para generar los comandos de desktop automation. Esto es una ventaja si tu workflow requiere modelos específicos para distintas subtareas.

5Tabla Comparativa Detallada (20+ dimensiones)

6Ecosistema MCP de Desktop Automation

Independientemente de la plataforma, el ecosistema MCP ofrece servidores especializados para desktop automation. La mayoría son cross-platform compatibles (cualquier cliente MCP puede usarlos):

7Fortalezas y Debilidades

Codex Desktop App (OpenAI)

✔ Fortalezas

• Única solución GA — lista para producción desde abril 2026
• @AppName syntax — control multi-app sin precedentes en la industria
• Background mode en macOS — funciona con Mac bloqueada
• 10 acciones completas (incluyendo drag, clipboard, keypress combinado)
• Responses API alternativa — sin restricciones regionales
• ~72% precisión en OSWorld (mejor reportada entre las 3)

✘ Debilidades

• Lock-in a OpenAI — solo modelos GPT
• Windows limitado — foreground only, bugs conocidos (#26004)
• Sin Linux — no disponible en escritorios Linux
• Restricción regional — no disponible en EEA, UK, Suiza (Desktop App)
• Sin ecosistema MCP propio — depende de bridges

Claude / Claude Code (Anthropic)

✔ Fortalezas

• API más madura — en beta desde oct 2024, versionada (computer_20251124)
• Más acciones — incluye middle_click, zoom, hold_key que Codex no tiene
• Ecosistema MCP más rico — 10+ servidores open-source para desktop automation
• Cross-platform API — funciona en macOS, Windows, Linux via agent loop personalizado
• Reference implementations — Anthropic publica demos en Python y TypeScript
• Cowork mode en Desktop App para knowledge work autónomo

✘ Debilidades

• Costo prohibitivo — $2-6 por ~20 pasos
• Beta/Preview — ninguna modalidad ha llegado a GA
• Latencia alta — 2-8s por acción
• Lock-in a Anthropic — solo modelos Claude
• Lock machine-wide — solo 1 sesión de Computer Use a la vez
• Claude Code CLI solo macOS — ni Windows ni Linux
• Solo Pro/Max — requiere suscripción paga para CLI/Desktop
• Precisión inferior (~65% vs ~72% de Codex en OSWorld)

OpenCode

✔ Fortalezas

• Model-agnóstico — cualquier LLM (OpenAI, Anthropic, Google, local)
• Gratis — sin costo de plataforma, solo el costo del modelo
• MCP compatible — puede usar servidores del ecosistema Claude
• Browser built-in en desarrollo — issue #30755 asignado a core team
• Global — sin restricciones regionales
• Cross-platform — Linux, macOS, Windows (con herramientas adecuadas)

✘ Debilidades

• No existe Computer Use nativo — issue #20490 cerrado
• Dependencia de Bash — comandos frágiles, OS-dependent, sin feedback visual automático
• Sin screenshot tool built-in — el modelo no puede "ver" la pantalla sin herramientas externas
• Sin sandboxing — no hay approval gates para acciones de desktop
• Sin @AppName — no puede targetear aplicaciones específicas
• Preciso variable — depende enteramente del modelo y de la calidad del prompt

8Guía de Decisión

Árbol de Decisión Rápido

/* ¿Qué plataforma de Computer Use elegir? */

if (produccion && (macOS || "API sin región"))
  → Codex Desktop App
else if (presupuesto && control && beta_ok)
  → Claude API (computer_20251124)
else if (experimentación && model_agnóstico)
  → OpenCode + MCP + Bash
else if (testing browsers)
  → Playwright MCP (cualquier plataforma)
else if (Windows && producción)
  → Codex Desktop App (con caveats de foreground-only)

9Estrategia Híbrida

Ninguna plataforma cubre todos los casos de uso. Una arquitectura híbrida realista aprovecha las fortalezas de cada una:

/* Ejemplo de arquitectura híbrida */
/* Paso 1: OpenCode orquesta */
opencode plan "Preparar reporte mensual"
  → Codex Desktop: abrir @Excel, extraer datos
  → Claude API: analizar tendencias (computer_20251124)
  → OpenCode: git commit del reporte generado

10Fuentes Verificadas

Esta investigación fue construida a partir de documentación oficial, código fuente, issues públicos, y benchmarks verificados. Última verificación: Junio 2026.

OpenAI — Codex Desktop App

• Documentación oficial: Computer Use en Codex Desktop App — Acciones, @AppName syntax, plataformas, regional restrictions
• Referencia de acciones de Computer Use — Screenshot, click, type, scroll, keypress, move, drag, clipboard
• Setup de Codex Desktop App — Requisitos macOS/Windows, background mode, locked use
• Responses API: Computer Use tool — Modos: native, custom harness, code-execution
• Issue #26004 — Desktop control tool unavailable (Windows) — Bug conocido
• Regional availability del Computer Use en Desktop App — Restricciones EEA/UK/CH

Anthropic — Claude / Claude Code

• Documentación oficial: Computer Use API — Beta header, acciones, modelos, reference implementations
• Claude Code: Computer Use MCP server — Research Preview, /mcp, per-app approval, lock machine-wide
• Claude Desktop App: Computer Use — Toggle Settings, Cowork mode, macOS/Windows
• Reference Implementation: Computer Use Demo — Python + TypeScript agent loop
• Modelos compatibles con Computer Use — Opus 4.8, 4.7, 4.6; Sonnet 4.6; Haiku 4.5
• Claude Code releases — Computer Use Research Preview (week 13-14, 2026)
• Computer Use pricing — Costo por paso

OpenCode

• Issue #20490 — Computer Use feature request — Cerrado sin implementación
• Issue #30755 — Built-in browser — Abierto, asignado a Brendonovich
• Documentación oficial: MCP en OpenCode — Configuración de servidores MCP
• Documentación oficial: Tools — Bash, Edit, Read, Write, Glob, Grep (no screenshot)

MCP Ecosystem

• MCP Servers oficiales — Directorio de servidores
• desktop-touch-mcp — Rust UIA para Windows
• WindowComputerUse — Virtual cursor + OCR
• win32-mcp-server — 53 tools UIA
• macOS-MCP — Accessibility API
• computer-use-mcp — Native Claude binaries
• claude-local-control — Linux X11
• ControlMCP — Grid-based cross-platform
• ghost-mcp — Tesseract OCR cross-platform
• mcp-vnc — Remote VNC control

Benchmarks

• OSWorld Benchmark — GUI navigation benchmark multi-platform
• SeeAct Benchmark — Web GUI agent evaluation

Última verificación: Junio 2026. Las especificaciones y documentación pueden cambiar; consulte las fuentes oficiales para información actualizada.