La pregunta equivocada
Qué modelo usa un agente suele tratarse como la variable que más importa. No es toda la historia.
Lo que un agente puede tocar — su interfaz, sus representaciones, la forma de lo que regresa después de cada acción — mueve los resultados más que qué tan grande sea el modelo debajo. No siempre, no para siempre, pero sí lo bastante seguido, y lo bastante barato, como para que ignorarlo deje rendimiento real sobre la mesa.
SWE-agent: la interfaz triplicó el puntaje
En 2024, un equipo de Princeton NLP publicó SWE-agent, construido alrededor de una Agent-Computer Interface (ACI) diseñada a propósito, en lugar de una terminal cruda. En SWE-bench obtuvo 12.5% de pass@1, contra un 3.8% aproximado del mejor enfoque anterior, un método de retrieval-augmented — la tasa de éxito casi se triplicó. Las ganancias se atribuyen en buena parte a la ACI y no al modelo base: quitarle funciones a la interfaz mueve los números.
Un visor de archivos acotado — una ventana de unas 100 líneas — en lugar de un volcado completo. Un editor que corre un linter y rechaza ediciones que introducen errores de sintaxis, para que los errores no se acumulen. Resultados de búsqueda que llegan concisos y paginados en vez de una inundación cruda de grep.
Movimientos pequeños, cada uno por separado. El planteamiento del paper: los agentes son una nueva categoría de usuario final, no un caso límite del usuario humano.
AXI: el mismo modelo, una conversación más barata
Un ejemplo más acotado y más reciente, más contundente en sus números. AXI — un sistema de principios de diseño y estudio de benchmark de Kun Chen — comparó un CLI consciente de los tokens (gh-axi) contra la vía estándar del protocolo de herramientas MCP, mismas tareas, mismo modelo de base. Contra el servidor MCP de GitHub específicamente, la versión AXI salió cerca de 66% más barata, usó alrededor de 74% menos tokens de entrada, y cerró las tareas en cerca de la mitad de los turnos, mientras obtenía un puntaje más alto en éxito de tarea.
Nada de eso vino de tocar los pesos del modelo. Vino de lo que el modelo tenía que leer: salida por defecto breve, agregados precalculados en lugar de forzar un segundo viaje de ida y vuelta, un "0 resultados" explícito en vez de un vacío ambiguo que el agente tiene que adivinar.
La mayoría de los principios de diseño de AXI no son exóticos — esquemas mínimos, truncamiento con una salida de emergencia, mostrar datos en vivo por defecto en lugar de un muro de ayuda. La disciplina consiste en negarse a entregarle a un agente un muro de texto y llamarle a eso contexto.
Números arábigos, números romanos, las mismas cuentas
David Marr tenía una frase sobre esto: una representación vuelve barata cierta información y cara otra información, aunque el contenido de fondo sea exactamente el mismo. Su ejemplo eran los números arábigos contra los números romanos — los mismos números, pero la multiplicación larga es un algoritmo mecánico en uno y un sufrimiento en el otro.
Esa es la diferencia entre un AST y una cadena plana de código, entregada a algo que tiene que editarla — la misma información, un costo radicalmente distinto para operar sobre ella. La representación no es una decoración encima de la inteligencia; es el medio por el que la inteligencia tiene que pasar, y una mala representación le cobra impuesto a cada paso río abajo.
La duda honesta
Vale la pena nombrar una precaución: los números de SWE-agent son un solo benchmark en un solo dominio — tareas de código con una señal limpia de pasa-o-no-pasa. Qué tan bien viajan las ganancias de interfaz a dominios sin ese tipo de señal limpia es una pregunta aparte, todavía abierta.
También existe una objeción con forma de bitter lesson: las ganancias de interfaz podrían encogerse en cuanto un modelo sea lo bastante bueno como para esquivar una mala interfaz de todos modos. El planteamiento de durable-versus-transitional lo corta así: la representación nativa para agentes, como muleta de capacidad, es transitoria, porque los modelos más grandes leen bien la salida humana desordenada de todas formas. La bitter lesson de Sutton dice que la estructura diseñada a mano sigue perdiendo contra la escala, y una muleta construida para compensar un modelo débil es exactamente ese tipo de estructura.
El trabajo de interfaz que en el fondo es sobre economía — menos tokens, menos viajes de ida y vuelta, menos latencia acumulándose a lo largo de un loop largo de agente — es un caso distinto. No desaparece cuando el modelo mejora. Se vuelve más valioso, porque los loops más largos empeoran el impuesto, no lo mejoran.
Diseñar para un usuario que todavía no es humano
La mayor parte de lo que se le entrega a los agentes hoy es una interfaz humana reutilizada para un lector no humano — terminales, dashboards, documentos de prosa construidos para un ojo humano bajando por la página. Funcionan, la mayoría de las veces. También están dejando rendimiento real sobre la mesa, y la tasa de éxito triplicada de SWE-agent es el recibo.
No se trata de escribir un mejor prompt. Se trata de diseñar la superficie: qué ve el agente a mitad de tarea, versus cuándo algo está degradado, versus cuándo hace falta que un humano intervenga. Qué muestra la vista por defecto cuando no se pide nada en particular. Qué se trunca, y qué tiene una salida de emergencia de vuelta a la versión completa.
Los agentes son una nueva categoría de usuario final. La mayoría de las herramientas todavía no se ponen al día.
