El colapso del margen agéntico: por qué tu sistema en producción no necesita (ni soporta) otro LLM tradicional

El modelo Jev de TypeSafe AI abandona la arquitectura autorregresiva para tareas de decisión. Cambia el costo de evaluación semántica a $0.042 por millón de tokens de entrada, eliminando por completo los tokens de salida. Separar la generación de texto de la toma de decisión estática es la única matemática que cierra para escalar sistemas autónomos. El impacto en la factura es brutal: en un pipeline reciente, resumir 1,018 papers con un LLM costó $3.99; clasificarlos luego con Jev costó $0.08.

Pagarle a un modelo de lenguaje frontera para que decida si un ticket de soporte es urgente es cómo usar un reactor nuclear para encender una bombilla. Estás pagando por la capacidad de generar prosa compleja, token a token, cuando tu pipeline de software sólo necesita un triste booleano.

Si analizas los unit economics de cualquier sistema de orquestación multiagente actual, el 70% del gasto en API rara vez viene de generar código o respuestas al usuario final. Viene de la capa de control. Un supervisor preguntando "¿el agente uno terminó de extraer los datos?" cientos de veces por hora en un loop. Esos pequeños peajes de inferencia destruyen el costo total de propiedad (TCO) en producción.

El modelo Jev, la nueva arquitectura "Sistema Uno" de TypeSafe AI, ataca exactamente este dolor.

El fin del loop de decodificación

Los LLMs que usamos hoy operan como un Sistema dos cognitivo: procesan paso a paso. Para clasificar un correo, el modelo proyecta su estado interno sobre un vocabulario de 100,000 tokens, elige una palabra, la vuelve a inyectar en el contexto y corre otro forward pass completo por los GPUs. Si le pides un JSON de 60 tokens, pagás 60 ciclos de cómputo secuenciales.

Jev rompe ese bucle. Le entregás un estado de entrada (un log, un documento, una pantalla) y una lista de preguntas con opciones cerradas (Choice, Score o Noul). El modelo no genera texto. Hace un único pase sobre la red y lee las probabilidades directamente.

La matemática cambia de forma violenta. La latencia cae al piso de los 70 a 300 milisegundos. Pero el verdadero valor no es que Jev sea "50 veces más barato" en abstracto, sino cómo te obliga a separar capas. Un desarrollador, Hassan El Mghari, armó un pipeline ilustrativo con dos modelos. Usó uno generativo (DeepSeek V4 Flash) para resumir 1,018 research papers por $3.99. Luego, usó Jev para clasificarlos en 24 temas por solo $0.08.

Esa es la arquitectura correcta: el LLM hace el trabajo pesado del lenguaje, el modelo de decisión enruta.

6 lugares donde esta matemática cambia las reglas

En Active empezamos a mapear dónde esta reducción de fricción habilita flujos que antes colapsaban los unit economics:

1. Hard-gates en Pull Requests por $0.00007. Enviar el diff de código y evaluar vectores de riesgo (inyección SQL, exposición de secretos) en una sola llamada. Si la probabilidad de riesgo supera un umbral, el CI se bloquea y escala a un humano. Cuesta fracciones de centavo frente a los $14 que puede costar analizar un repositorio grande con un modelo frontera.

2. Compactación agresiva de memoria agéntica. Los historiales de llamadas a herramientas (tool-calling) se inflan rápido. Jev evalúa cada par de llamada/resultado en el estado y decide cuáles descartar sin perder el error crudo.

3. Filtro antes de un contexto caro. Un Noul (probabilidad booleana) por pasaje para descartar lo irrelevante antes de que llegue al modelo grande en un flujo RAG. Recuperas ancho de banda y juzgas barato (~$0.0004 por documento).

4. Clasificador documental masivo. Procesar miles de formularios de impuestos en minutos. El modelo no lee para resumir; lee para asignar a una de 255 categorías declaradas, entregando el nivel de confianza de esa decisión.

5. Computer Use determinístico. Pasar el árbol de accesibilidad de una pantalla y pedirle al modelo que elija acciones finitas (click, scroll). La latencia de 250ms evita que el timeout del navegador rompa la sesión.

6. Filtros de inferencia para Trading. Ejecutar evaluaciones sobre noticias financieras en la ventana de 300ms de un bloque de blockchain. Funcionó en un entorno de prueba público en Monad; honestamente, en Active todavía no le daríamos acceso a una billetera real, pero abre un vector para algoritmos HFT.

Dónde se rompe (y el falso mito de la "cero alucinación")

Tuvimos un debate interno tenso ayer sobre los riesgos de este patrón. TypeSafe empuja la narrativa de que Jev "tiene cero por ciento de error de estructura" porque es físicamente incapaz de devolver un JSON roto.

Eso es seguridad de tipos, no verdad semántica.

Si tu instrucción es ambigua o tus opciones solapan, Jev asignará un incidente crítico al equipo de facturación con un 98% de confianza. La alucinación dentro del esquema sigue siendo un riesgo de producción severo.

Además, chocás contra límites duros de diseño:

• Contexto acotado: 64,000 tokens de contexto máximo y un tope de 255 opciones por variable. Si tenés un catálogo de 10,000 productos, tenés que construir un embudo jerárquico.

• Dependencia de la versión: jev-latest se mueve. Si afinas los umbrales de confianza (ej. >0.85 pasa automático, <0.85 a humano), tienes que fijar la versión. Un enrutamiento equivocado a $0.0004 es invisible hasta que alguien pregunta por qué 300 reembolsos fueron a la cola equivocada.

• Riesgo de Vendor: Hoy es un modelo propietario. Escribí tu capa de decisión contra la interfaz de abstracción (Choice, Score, Noul) y no contra el proveedor.

Esto no reemplaza el razonamiento profundo. Lo saca del camino crítico de control donde no aporta valor.

¿Qué porcentaje de las llamadas a tu modelo más caro en producción termina hoy en un simple if/else sobre la respuesta?