Jev, el modelo que no escribe: qué es, cómo se usa y dónde se rompe

Un if con criterio

La descripción más corta que funciona: Jev es una sentencia if inteligente.

El código normal se bifurca según valores que puede calcular. if (pedido.total > 100) funciona porque la condición es algo que una computadora comprueba. Se cae en cuanto la condición es un juicio: ¿este mensaje de soporte está enojado? ¿este correo va de facturación? ¿cuál de estos doce botones continúa el pago?

Un modelo de lenguaje responde a eso escribiendo. Genera la respuesta token a token, y luego tu código tiene que rescatar una decisión de dentro de una frase. Jev produce una distribución de probabilidad sobre las opciones que tú definiste, y ahí termina su trabajo.

Lo que no es

Se entiende mejor por descarte, porque el espacio alrededor está lleno de cosas que se le parecen.

Tampoco es un clasificador clásico, aunque por fuera se le parezca mucho. Un clasificador tradicional necesita ejemplos etiquetados, un entrenamiento y un modelo distinto por tarea. Jev acepta texto sin estructura y preguntas que defines en tiempo de ejecución: hoy clasifica tickets de soporte y mañana revisa un diff, sin reentrenar nada.

“La empresa no ha revelado su arquitectura exacta, pero a todos los efectos se parece mucho a un clasificador. Y un clasificador no es tecnología nueva: lleva más de diez años entre nosotros.”

Mark Kashef · Jev Fully Explained

El matiz que agrega la misma fuente es el que importa: lo nuevo es que el clasificador sea generalista. Le das la pregunta y las respuestas posibles, y clasifica solo con esas dos variables.

System One, por el Sistema 1 de Kahneman

Dos referencias que, una vez que las sabes, explican la apuesta entera de la empresa. La primera es Pensar rápido, pensar despacio, de Daniel Kahneman.

El Sistema 1 es el juicio rápido e intuitivo que tu cerebro hace sin esfuerzo. El Sistema 2 es el razonamiento lento y deliberado. En el marco de TypeSafe, Jev se ocupa del primer tipo de tarea y los modelos de razonamiento del segundo.

Jev, por Jevons y su paradoja

William Stanley Jevons fue el economista de la paradoja que lleva su nombre: cuando las máquinas de vapor se volvieron más eficientes, el consumo de carbón subió, porque la energía barata creó usos nuevos. La apuesta de TypeSafe es que la inteligencia sigue la misma curva. Si una decisión cuesta mucho menos de un centavo, vas a poner decisiones donde nunca habrías llamado a un LLM.

Cómo se llama

Un endpoint, dos campos. El estado es lo que hay que mirar; las preguntas son lo que quieres saber de él.

POST https://api.typesafe.ai/v1/systemone
Authorization: Bearer <API_KEY>
Content-Type: application/json

{
  "model": "jev-latest",
  "state": {
    "name": "Managed Postgres",
    "description": "We make a managed PostgreSQL hosting product..."
  },
  "questions": {
    "is_sponsor_inquiry": {
      "type": "noul",
      "instructions": "Does `description` ask to sponsor the site?"
    }
  }
}

• model: alias estable. Detrás está hoy jev-1.13.0, y la respuesta siempre dice qué versión contestó.
• state: lo que hay que mirar. Puede ser una cadena, un objeto o un array.
• questions: todas se evalúan contra el mismo estado, en paralelo. El ID (is_sponsor_inquiry) es para tu código y no se le manda al modelo.
• instructions: aquí va la pregunta entera. Las comillas invertidas apuntan a un campo concreto del estado y quitan la ambigüedad.

La respuesta trae answers, el model con la versión que contestó y usage con los tokens. Y luego tu código hace la parte aburrida, que es exactamente donde tiene que estar:

const { answers } = response

if (answers.is_sponsor_inquiry.noul > 0.9 &&
    answers.product_category.choice === 'dev_tool') {
  sendRateCard(email)
} else {
  queueForManualReply(email)
}

Ejemplo del análisis de Flavio Copes.

Los tres tipos de pregunta

Todo lo que le preguntas es una de tres primitivas. Elegir mal la primitiva es el primer error que se comete.

Noul: sí o no. noul es la probabilidad de que la respuesta sea sí. Formula la pregunta de forma que un valor alto signifique sí: un Noul donde true quiere decir “no” confunde al modelo y a quien lea tu código dentro de seis meses.

Choice y Score: una opción, o un punto en una escala

Choice: una de la lista. choice es la opción con más probabilidad, probabilities trae la distribución entera y confidence resume su forma en un número: alta cuando una opción domina, baja cuando la probabilidad está repartida. La documentación insiste en agregar una opción other siempre que tu lista pueda no cubrirlo todo, porque el modelo tiene que elegir algo si no le das salida.

Score: una posición en una escala. El score es la media de los niveles ponderada por probabilidad, así que cae entre niveles: 0 × 0.0 + 1 × 0.7 + 2 × 0.3 = 1.3. Lee siempre probabilities al lado, porque un 1.0 puede ser todo el peso en el nivel 1 o la mitad en el 0 y la mitad en el 2. Son dos situaciones muy distintas con el mismo número, y confidence es lo que las distingue.

La confianza es la pieza que vas a usar de verdad

Toda respuesta de Choice y Score trae confidence, entre 0 y 1, calculada a partir de la forma de la distribución. No estás atado a la definición de TypeSafe: la distribución completa viene en la respuesta, así que puedes calcular tu propio estadístico si tu dominio lo pide. La tolerancia al riesgo vive en tu código, en números que puedes leer y cambiar.

Dónde caen las fronteras depende de lo que cueste equivocarse. La documentación usa 0.5 como piso de revisión y 0.9 antes de una acción destructiva, como ejemplos; no hay valores por defecto.

Se ve mejor con un caso de la propia fuente. En una prueba en sombra, un rm -rf ambiguo volvió clasificado como “irreversible” con probabilidad 0.56 y confianza 0.33. Ese 0.33 es lo que le dice al código que le pregunte a un humano en lugar de fiarse de la etiqueta elegida.

Por qué insisten tanto en la palabra calibrado

Es la diferencia entre una probabilidad que significa algo y un número que un modelo escribió porque sonaba bien. Muchos modelos de chat se entrenan con RLHF o con métodos de optimización de preferencias, que premian las respuestas que los humanos prefieren. TypeSafe dice haber entrenado Jev con lo que llama Reinforcement Learning for Calibrated Decisions, que optimiza para que las probabilidades coincidan con los resultados.

Calibrado quiere decir que, a lo largo de muchas predicciones, las respuestas a las que da un 90% de probabilidad aciertan alrededor del 90% de las veces. Sobre una respuesta concreta no dice nada: esa puede seguir siendo un error.

Hay una segunda garantía y conviene no confundirla con la primera. Como el modelo produce una distribución sobre tus opciones en vez de texto libre, una respuesta no puede contener un valor fuera del esquema que le diste. TypeSafe lo publica como un 0% de errores de tipo y aclara que el número sale de la estructura, sin medición detrás. Cubre la forma de la respuesta. Si la opción elegida es la acertada ya es otro asunto.

“Una salida tipada no garantiza un enrutado correcto. Un Choice siempre puede devolver uno de los destinos permitidos y aun así mandar la petición al sitio equivocado.”

Flavio Copes · A deep dive into Jev

No es una calculadora

No cuenta de forma fiable: ni caracteres de una palabra, ni apariciones de un término, ni elementos de una lista. Dados dos colores en hexadecimal no sabe decir si se parecen. Las preguntas sobre colores con nombre funcionan; las preguntas sobre #FF4B0A, no. La aritmética va en código, y al modelo le pasas el resultado o un intervalo con nombre.

Si necesitas contar elementos que cumplen una condición semántica, haz una pregunta Noul por elemento y suma en código:

const items = ['typesafe', 'apple', 'california', 'banana', 'orange']

const questions = Object.fromEntries(
  items.map((_, i) => [`item_${i}`, noul(`Is \`items[${i}]\` the name of a fruit?`)])
)

const { answers } = await client.systemOne({ state: { items }, questions })

const fruits = items.filter((_, i) => answers[`item_${i}`].noul > 0.5)
console.log(fruits.length) // 3

Las fechas son texto para él

Cuál de dos fechas va antes, cuánto distan, si una cae dentro de una ventana: todo eso es poco fiable, y peor con formatos mezclados o referencias relativas.

La solución es partir el trabajo. Extraer es un juicio, así que dáselo al modelo como un Choice sobre meses, días y años con una opción “no consta”, y construye la fecha real en código.

Lee tus palabras, no tu intención

Las negaciones, los condicionales implícitos y las palabras que acotan se leen literalmente. Hay una señal buenísima para detectarlo: cuando miras una respuesta equivocada y te descubres explicando lo que en realidad querías decir, esa explicación es la mitad que le faltaba a la instrucción.

Los números publicados

Un poco de aritmética. Un ticket de soporte con sus preguntas ronda los 300 tokens en los ejemplos de TypeSafe. Eso son unos 0.0000126 dólares por llamada, o 1.26 dólares por cada 100,000 tickets del mismo tamaño. La calculadora de su web lo pone en otra escala: 0.00042 dólares por cada 10,000 tokens de entrada, así que una petición de ese tamaño sale a 0.00042, mil salen a 0.42 y cien mil a 42 dólares.

Cifras de TypeSafe, medidas desde la costa oeste de Estados Unidos, que es donde corre el servicio.

“20 a 200 veces más rápido, 40 a 400 veces más barato.”

Diogo Almeida · video de lanzamiento, citado en el tutorial de Riley Brown

Ese es el rango que dio el propio fundador el día del lanzamiento, más ancho que el 193.6x / 444.6x de arriba porque cubre casos distintos. Los 40 millones de ronda semilla, este rango y el nombre de Diogo Almeida como uno de los que trabajaron en ChatGPT: todo eso sale de ese mismo video, que Riley Brown reproduce dentro del suyo.

¿Recorta la factura de IA un 50 o un 60 por ciento?

Puede, pero ese número depende del reparto de tu carga de trabajo. Jev solo reduce la parte de la factura que se gasta en decisiones que él puede sustituir.

ahorro total = porcentaje en clasificación × ahorro en esas llamadas

El ejemplo es de la propia fuente: 10,000 dólares al mes de gasto en IA, con una vía nueva que cuesta el 5% de la vieja.

La latencia prometida y la que se ve en pantalla

TypeSafe habla de unos 100 milisegundos. Las cifras de esta sección salen de lo que se ve en los videos de terceros: los dos tutoriales muestran paneles con el tiempo de respuesta impreso, y ninguno de los dos narradores lo lee en voz alta. Son lecturas de sus propias demos, sin nada independiente detrás, pero son lo más parecido a una medición pública que existe ahora mismo.

El análisis independiente de Flavio Copes, hecho desde Italia, dice lo mismo por escrito: espera latencia de red por encima y mediría antes de prometerle nada a una interfaz de usuario.

Etiquetar, enrutar, verificar

El patrón obvio es etiquetar a escala. Una demo temprana clasificó 1,018 resúmenes de artículos de investigación en 24 temas por 0.08 dólares, con una latencia mediana de 256 milisegundos por artículo. Otra prueba pasó 98,000 clasificaciones de anuncios en diez minutos.

• Enrutado de intención y de modelo: una llamada delante de un flujo de soporte o de un agente, decidiendo qué manejador o qué modelo recibe el mensaje.
• Verificación: un sitio que ya genera resúmenes con un LLM comprueba cada afirmación contra la transcripción con un Noul y marca las de probabilidad baja. El LLM escribe, Jev comprueba, el código decide qué necesita revisión.
• Barandillas para agentes de código: clasificar un comando de shell como de solo lectura, reversible o irreversible antes de ejecutarlo.
• Linter semántico: partir el código cambiado en trozos, preguntar cuáles merecen atención y de qué tipo, y mandar solo los prioritarios a un modelo que sepa explicarlos y arreglarlos.
• Ingeniería de características: convertir texto libre en columnas numéricas para un modelo clásico. Un notebook de TypeSafe empieza con 18 preguntas y acaba con 38, que se vuelven 67 columnas para un regresor CatBoost.

La documentación oficial agrupa esto en cinco categorías: automatización, aplicaciones en tiempo real, map-reduce sobre datos masivos, verificación universal e ingeniería del harness. Sirve como mapa, siempre que recuerdes quién lo dibujó: la empresa que vende el producto, describiendo dónde le gustaría que encajara.

Un caso medido: recuperar memoria de una carpeta de notas

En el tutorial de Moritz, la vía anterior adivinaba en qué archivo estaba la respuesta por el nombre del archivo y leía de más. Con Jev delante, el sistema primero decide qué notas vale la pena abrir.

“Piénsalo como IA de opción múltiple, no como IA de redacción. No conversa. Toma decisiones sobre las que tu software puede actuar.”

Matt Van Horn · WTF Is Jev?

La única medición con línea base

De todo el material publicado, un solo experimento compara Jev contra alternativas tontas. En el tercer proyecto del tutorial, el autor construye un predictor de rendimiento de videos de YouTube sobre 601 videos de 15 canales, con una mediana de 61,877 visitas, y se gasta 0.23 dólares en llamadas a Jev. Lo que vale la pena mirar está en otra pestaña: una que compara su modelo contra líneas base simples, y que dejó a la vista.

Predecir con la media del canal y nada más da 0.316. La mejor combinación con Jev da 0.385. Mejora, y lo hace en las tres variantes que lo usan, pero la distancia con no saber nada es corta.

El bucle en tiempo real

Unos cientos de milisegundos alcanzan para cerrar un bucle que un LLM no puede cerrar. El ejemplo del tutorial es un navegador que se maneja por voz:

El detalle que convierte esto en un patrón está en el último paso. Los if son literalmente así: si “¿es esto una orden?” baja de 0.5, ignórala; si “¿ha terminado la frase?” baja de 0.6, espera más palabras. En el panel de la demo se ven esas mismas señales con sus valores en vivo, is_command 0.85 e is_complete 0.97, junto a la acción que dispararon. Quien hace clic es Playwright, y quien decide es un if que sigue siendo tuyo.

El mismo reparto aparece en la automatización de navegador con un LLM planificador: el LLM decide el objetivo y Jev elige en qué elemento hacer clic, como un Choice sobre los elementos interactivos de la página. Una demo reservó un vuelo en unos siete segundos. David Ondrej enseña lo que parece el mismo clip en su propio tutorial, con un dato que no traía la primera vez: costó 0.004 dólares.

Un router de modelos, hecho en un solo prompt

Riley Brown le pidió a Claude, en un único prompt, un agente que decidiera qué modelo usar según el mensaje de entrada. El agente reparte entre cuatro niveles y Jev es quien elige cuál.

El mismo video reúne otras tres demos de terceros. Justin Schroeder recreó algo parecido al piloto automático de Tesla: le da a Jev un árbol de opciones (seguir recto, girar, frenar) y el modelo decide en cada instante según lo que hay en pantalla, incluidos semáforos y peatones. Un usuario identificado como Jared conectó Jev a una cuenta de trading real en jevtrader.vercel.app: el modelo decide comprar, vender o mantener, con su nivel de confianza al lado. Y en el tutorial de David Ondrej, alguien de Cognition AI llamado Nader construyó una hoja de cálculo que puntúa cada fila según una columna que se escribe en texto libre, como “urgencia”, y lo hace en unos 100 milisegundos por cientos de filas mientras se escribe.

Comparar contra Astra, tarea por tarea

Jack Roberts corrió la misma tarea contra Jev y contra Astra, una y otra vez, con el cronómetro y el costo en pantalla. Es la comparación más sistemática de las tres, aunque el mismo video vende su curso.

Las dos pruebas que más distancia muestran no son de correos. Detectar si un texto está escrito por IA le costó 4 centavos con Jev contra 15 dólares con Astra, sobre el mismo lote. Y para buscar la referencia más parecida dentro de una librería de más de 300 sistemas de diseño, Jev salió en 1.94 dólares por cada 1,000 consultas contra 507.52 dólares con Astra (Roberts lo redondea a “500” al hablar), unas 260 veces más caro, y ambos encontraron la misma referencia.

David Ondrej trae dos gráficas más, y ahí conviene mirar el fotograma en vez de quedarse con el resumen que dice en voz alta. La tasa de error en salida estructurada no es un bloque parejo de “0.8-1%”: Luna y Terra están en 0.58%, Sol en 0.83%, Astra en 1.43%, y el dato que se pierde si solo escuchas es que Haiku 4.5 llega a 45.5%, muy por encima de cualquier otro modelo del gráfico. En la tasa de error al usar herramientas, Jev vuelve a estar en 0% y Astra en 16.6%, pero el peor no es Astra: Sol llega a 17.0%. Los modelos de Anthropic (Opus 5, Fable 5.1, Haiku 4.5, Sonnet 5) se mueven entre 0.67% y 2.07%, un rango más ancho que el “alrededor de 1.3%” que resume el narrador.

Casi todo el oficio está en escribir las preguntas

1. Un juicio por pregunta. “¿Este mensaje transmite urgencia?” es una buena pregunta. “Analiza este mensaje y decide el mejor curso de acción” no lo es, porque esconde varios juicios detrás de una respuesta.
2. Escribe la condición exacta. Si la respuesta depende de un matiz, el matiz va en la instrucción. En tu cabeza no le sirve a nadie.
3. En los criterios, describe situaciones concretas. “Función rota, existe un rodeo” le da al modelo algo con lo que comparar el estado. “Moderadamente grave” no.
4. Dale una salida. Una opción other en todo Choice cuya lista pueda no cubrirlo todo, y un “no consta” cuando extraes algo que puede faltar.
5. Que instrucción y criterios digan lo mismo. Cuando la instrucción pide una cosa y los criterios describen otra, la respuesta se degrada.

Una rama cada vez

1. Regístrate en la lista de espera de typesafe.ai, o usa el AI Gateway de Vercel con el ID de modelo typesafe-ai/jev, al mismo precio, si tienes cuenta y no quieres esperar.
2. Pasa la primera hora en el Playground con tus datos, no con los ejemplos. Pega un mensaje de soporte real, una línea de log real, un formulario real.
3. Elige una decisión aburrida que tu código ya resuelve a mano, o con una expresión regular que se rompe a cada rato: enrutar, aprobar, saltar.
4. Sustitúyela por un Noul o un Choice, y registra la confianza durante una semana en paralelo al comportamiento actual, sin dejar que actúe.
5. Solo entonces déjalo actuar, y solo por encima del umbral que hayas medido.

# la vía corta, visible en la consola
npx @typesafe-ai/cli setup

# o la skill para el agente, por marketplace
claude plugin marketplace add typesafe-ai/skills
claude plugin install typesafe@typesafe-ai

# Cursor, Codex y el resto
npx skills add typesafe-ai/skills --skill typesafe-ai