Evaluación de modelos en tu infraestructura
Tienes tu propio nodo de IA, pero ¿es lo que necesitas?
Esa pregunta lleva meses sin respuesta mientras el nodo lleva meses trabajando. Y si aún no lo has montado, es la que se responde antes de la orden de compra, no después. Construimos las pruebas sobre tu trabajo real, fijamos contigo el criterio, medimos de extremo a extremo sobre tu infraestructura y entregamos un dictamen con la evidencia y con las acciones repartidas: las de tu nodo y las nuestras. Y si prefieres no montarlo tú, lo elegimos, lo montamos y te lo entregamos con la medición ya hecha sobre tus casos.
El problema
«Va bastante bien» no es un estado.
Cuando una respuesta sale mal, hay cuatro causas posibles y ninguna se ve desde fuera. Sin separarlas, cada reunión sobre el nodo es una discusión de impresiones, y la impresión que acaba ganando es la del que habla más alto.
El modelo
No da para esa tarea, y ninguna configuración lo va a arreglar.
La cuantización
El modelo daría, pero no con los bits por peso con los que está cargado.
El nodo
Una bandera de arranque, un tamaño de contexto o un tokenizador mal declarado.
La capa de acceso
Un temporizador, un límite declarado o un presupuesto de salida que el nodo no puede cumplir.
Si todavía no lo has montado, el problema es el mismo un paso antes: vas a elegir esas cuatro cosas a la vez, comprometiendo dinero y plazo, sin un número que diga cuál de ellas es la que decide el resultado.
Y hay una quinta posibilidad, que es la peor de todas: que acierte casi siempre y falle en un sitio concreto, siempre el mismo, con una cifra lo bastante creíble como para que nadie la mire dos veces.
La prueba, antes que el argumento
Un aprobado y una liquidación mal calculada, en la misma medición.
Esto es nuestro propio nodo: un modelo MoE de pesos abiertos, sobre nuestro hardware. Medido el 12 de septiembre de 2026: tres expedientes, cinco intentos por expediente, todo por la misma capa de acceso por la que pasa el trabajo real, y 50 minutos de nodo dedicado de principio a fin. El modelo, el nodo y la fecha quedan registrados juntos a propósito: sin los tres, la nota no se puede volver a sacar.
| Expediente | Nota | Cifra devuelta | Cifra correcta | Desviación | Intentos idénticos |
|---|---|---|---|---|---|
| Sucesión · reparto de una herencia | 100,00 | 78.731,75 € | 78.731,75 € | 0,00 € | 5 de 5 |
| Declaración de la renta | 25,00 | 3.872,79 € | 3.724,79 € | 148,00 € | 5 de 5 |
| Finiquito por despido improcedente | 100,00 | 64.506,70 € | 64.506,70 € | 0,00 € | 5 de 5 |
| Agregado | 75,00 · apto | umbral 70 | error medio 49,33 € | ejecución completa y estable |
148,00 euros sobre 3.724,79. Un 4 %. No es una cifra absurda: es una cifra creíble, y por eso nadie la habría detectado leyendo la respuesta. El modelo la devolvió idéntica en los cinco intentos, así que tampoco la habría detectado repitiendo la consulta. Y la nota agregada (75,00 sobre un umbral de 70) la habría dado por buena.
El fallo está localizado, no intuido. De las seis comprobaciones de trazabilidad del expediente, cinco pasan: acierta el tope del plan de pensiones, la ganancia neta de la venta de acciones y las retenciones, y declara explícitamente fuera del cálculo el gasto que no es deducible. Falla una sola, la del rendimiento del alquiler reducido, que es exactamente donde el caso esconde sus tres trampas de gasto. Se equivoca en un sitio, y siempre en el mismo.
Una demostración habría enseñado la sucesión y el finiquito. Habría durado diez minutos, habría salido bien y no habría sido falsa: habría sido incompleta, que en una decisión es peor. Un piloto sin criterio de aceptación fijado de antemano produce exactamente ese resultado, y por eso siempre sale bien.
Podemos enseñar esta medición entera porque la carga es nuestra. No es el expediente de ningún cliente, así que no hay nada que anonimizar ni ninguna cifra que recortar.
Cómo funciona
Cinco pasos. Los dos primeros no necesitan hardware.
Esa es la parte que suele sorprender: el criterio con el que se va a juzgar el nodo se puede construir antes de que exista el nodo. De ahí salen las tres formas de entrar de la sección siguiente.
Las pruebas, sobre tu trabajo
Se escriben los casos a partir de expedientes reales tuyos (el trabajo general y el específico de tus equipos) y se calcula la respuesta correcta a mano, antes de que ningún modelo los vea.
Sin hardwareEl criterio, fijado por ti
Qué nota es suficiente, y por qué esa. Con el suelo medido (qué saca quien no hace nada) y con el techo medido contra un modelo de proveedor, para que el número signifique algo. Y antes de la orden de compra.
Sin hardwareLa medición, sobre tu infraestructura
De extremo a extremo, por la misma capa de acceso por la que pasará el trabajo real: sobre la infraestructura que ya tienes, o sobre la que montamos nosotros. Cinco intentos por caso, y el registro completo de cada ejecución.
El dictamen
Una frase que cierra la pregunta, la evidencia debajo, y las acciones repartidas por ámbito: las que ejecuta tu equipo en el nodo y las que ejecutamos nosotros en la capa de acceso.
La iteración
Se repite la medición tras cada cambio, hasta alcanzar el criterio o hasta poder decirte, con el registro delante, que con ese modelo y ese hardware no se alcanza.
Por dónde entras
Tres formas de recorrerlo. En la tercera no lo recorres tú.
Ya tienes tu nodo de IA montado
Entras en el paso 3
Los pasos 1 y 2 siguen haciéndose, pero duran menos: los expedientes ya existen y el criterio se fija sobre un nodo que se puede medir esa misma semana.
Va a montarlo tu equipo
Empiezas por el paso 1
Los pasos 1 y 2 se cierran antes de que firmes la compra. Su entregable (tus casos, tu criterio y el techo medido) vale por sí solo aunque decidas no seguir.
Llave en mano
Los cinco pasos, y el hardware
Analizamos el trabajo, escribimos las pruebas sobre tus expedientes, elegimos y dimensionamos la infraestructura, la montamos, y no te la entregamos hasta que la medición alcanza el criterio que hayas fijado. Y si ninguna configuración viable lo alcanza, no hay entrega y no compras hardware. El día que llega ya se ha probado con tus casos de uso, así que se empieza a usar en lugar de empezar entonces a averiguar si sirve.
Lo que cambia entre la segunda y la tercera no es la comodidad: es quién elige las variables. Si eliges tú el modelo, la cuantización y la máquina, nosotros medimos lo que haya y te decimos qué sale. Si elegimos nosotros, respondemos del resultado, y eso solo se puede prometer cuando se controla lo que se promete.
Montar un entorno así llave en mano no nos distingue: hay quien lo hace y lo publica con sus fases y sus precios. Lo distinto es qué viaja con la entrega: una nota sobre tus propios expedientes, obtenida con un instrumento cuyo suelo está medido y cuyos fallos están publicados.
Y una honestidad sobre el dimensionamiento: elegir la máquina es una estimación hasta que se mide. Por eso el orden es ese, las pruebas antes que la compra, y por eso la entrega va condicionada a la medición y no a que el pedido haya llegado.
A partir de la entrega, la operas tú o la operamos nosotros. Es una decisión aparte, y se toma cuando toca.
El método
Un número con fecha, versión y procedimiento.
La pregunta «¿lo hace bien?» no tiene respuesta, porque le falta el término de comparación. La que sí la tiene es: ¿este modelo, aquí dentro, resuelve este trabajo tan bien como el que usarías si no lo tuvieras? Estas son las seis reglas que convierten esa pregunta en una cifra.
La respuesta correcta se calcula a mano, antes
Cada caso lleva su cálculo paso a paso hecho por una persona, y de ahí sale el valor esperado. Nunca al revés. Escribir el esperado a partir de lo que un modelo contestó es la forma más silenciosa de construir una prueba que aprueba a quien la diseñó.
Nada de lo que el modelo lee contiene la respuesta
Una comprobación automática recorre todo lo que el modelo va a ver y falla si aparece algún valor que solo existe si alguien hace el cálculo. Está ahí porque falló: un manual traía un ejemplo resuelto y un modelo devolvió el resultado del ejemplo, copiando hasta la etiqueta.
Cinco intentos, y se avisa si no coinciden
Cinco ejecuciones por caso, y se reporta la mediana. Un modelo que oscila no sirve aunque acierte una vez: cinco intentos idénticos son un dato, y uno solo no lo es.
La nota se reparte: 70 % la cifra, 30 % la trazabilidad
La cifra es binaria: dentro de la tolerancia o fuera, sin nota parcial por acercarse, porque una liquidación que se acerca no sirve. La tolerancia se justifica contra el error más pequeño que el caso persigue: en el expediente de la renta una de las trampas desvía 26,64 €, así que un euro absorbe redondeos y no absorbe lecturas equivocadas. La trazabilidad no comprueba que el modelo cite un documento, eso es gratis: comprueba que ate el importe correcto al documento correcto, y que declare qué deja fuera. Un modelo puede acertar la cifra final por compensación de dos errores, y esto es lo que lo impide.
Todo pasa por el mismo sitio
Las mediciones atraviesan la misma capa de acceso, con la misma autenticación y el mismo registro que el trabajo real. Comparar tu modelo con uno de proveedor es cambiar una palabra en un comando, no tocar el código de la prueba. No hay ninguna medida hecha por fuera que se cuele en la comparación.
Se cierra con un único bloque estructurado
Y una regla de formato que es una medida en sí misma: el modelo razona libremente y termina con un único bloque estructurado. Si no lo hay, o no se puede leer, el caso vale cero. Un modelo que no sabe cerrar con una estructura no sirve para un proceso automático, acierte lo que acierte por dentro.
La parte incómoda
Un instrumento que nadie ha intentado romper no es un instrumento: es una opinión con decimales.
Es la objeción razonable, y conviene decirla en voz alta: una prueba diseñada por quien va a venderte el arreglo puede dar el resultado que le convenga. No se responde con argumentos. Se responde enseñando lo que le hemos hecho al instrumento.
El suelo está medido por los dos lados
Un umbral no significa nada si no se sabe qué saca quien no hace nada, así que se mide en cada ejecución: una entrega que transcribe la lista de requisitos sin entender ni un dato saca 11,67 sobre 100 en extracción y 73,33 en construcción, y si ese suelo se mueve, la ejecución falla. Y por el otro lado se mide a propósito un modelo local de 3.000 millones de parámetros, que saca 2,00 y 0,00 sobre 100 con el mismo comando y las mismas pruebas. Si un instrumento no suspende a quien debe suspender, sus aprobados no valen nada.
Una medición incompleta no es una nota baja: no es una nota
Si un expediente no deja ni una sola medida válida, no puntúa cero: no puntúa, y la ejecución entera queda marcada como incompleta. Es la regla que impide el resultado más cómodo de todos (una nota alta sacada de los casos que sí salieron) y es la que nos impide a nosotros publicar dos de nuestras diez mediciones.
El instrumento se ha roto cuatro veces, y las cuatro están escritas
Cada defecto lleva su fecha y se ha convertido en una comprobación permanente. Dos aparecieron el mismo día y en direcciones opuestas: una caída de red se estaba contando como fallo del modelo, y a la vez una guarda protegía a un modelo que se desbocaba, borrándole del expediente su peor fallo. Una guarda que protege al modelo de sus fallos no es una guarda: es un sesgo. Y una de las cuatro correcciones nos salió cara: al arreglar la regla que distingue «se quedó sin presupuesto de salida» de «no supo parar», una ejecución entera subió mucho y a la vez quedó marcada como incompleta. Resultado neto: una nota más alta que no se puede publicar.
Esa es la disciplina entera: separar en todo momento lo que mide al modelo de lo que mide al instrumento, y no dar por bueno ningún arreglo que no se haya comprobado en los dos sentidos.
El compromiso
Tres cosas se comprometen. Una de ellas, no.
Si estás eligiendo con quién montar esto, vas a oír que te garantizan resultado, plazo y coste. Conviene separarlos, porque solo dos de los tres se pueden sostener y el tercero es la señal más fiable que tienes para descartar proveedores.
Según quién elija
El resultado
Si el modelo, la cuantización y la máquina los eliges tú, nadie puede comprometer la nota: quien la garantiza está garantizando una nota que no ha medido, o una prueba lo bastante blanda como para aprobar seguro. Ahí comprometemos que la nota exista, sea reproducible y se diga, la alcance o no.
En llave en mano es distinto, porque elegimos nosotros: el criterio deja de ser una expectativa y pasa a ser condición de entrega. No se entrega hasta que la medición lo alcanza. Y si ninguna configuración viable lo alcanza, no se entrega y no compras hardware: te quedas con las pruebas, el criterio y el motivo, por escrito.
Se compromete
El tiempo
Porque la duración de una medición es una magnitud medida, no una estimación. La nuestra del 12 de septiembre (tres expedientes, cinco intentos cada uno) ocupó 50 minutos de nodo dedicado, y ese dato está dentro del fichero de la ejecución, junto a la latencia de cada intento. La del día anterior, sobre el mismo nodo y sin las acciones del dictamen aplicadas, pasó de tres horas y dejó un expediente medible de tres.
Se acota
El coste
No comprometemos el precio por consulta: esta línea no va del coste del token. Lo que se acota es el coste de equivocarse. Los dos primeros pasos son de precio fijo, duran poco y su entregable vale por sí solo: si el modelo candidato no alcanza tu criterio, tienes una razón escrita, fechada y reproducible para no firmar la compra. Eso es más barato que descubrirlo con la máquina ya en el rack.
Y una consecuencia que conviene decir entera: si la medición contradice la decisión, el informe lo va a decir. Con el registro al lado, y en el primer entregable, no en el tercero.
Esta es la iteración, con cifras. Entre las dos mediciones cambió la configuración del nodo y los temporizadores de la capa de acceso. Ni el modelo, ni el hardware, ni las pruebas.
| Medida | 11 de septiembre de 2026 | 12 de septiembre de 2026 |
|---|---|---|
| Expedientes medidos | 1 de 3 | 3 de 3 |
| Duración de la medición | más de tres horas | 50 minutos |
| Latencia mediana | 573 s | 172 s |
| Razonamiento interno (mediana) | 4.657 tokens de 6.212 | 638 tokens de 2.701 |
| Estado de la ejecución | incompleta | completa y estable |
El expediente que no se podía medir pasó a medirse, y ahí es donde apareció el error de 148,00 €. Ese es el orden real de las cosas: primero el nodo tiene que poder responder, y solo entonces se puede hablar de si acierta. Confundir las dos preguntas es lo que hace que un equipo pase meses ajustando una configuración para arreglar un problema que estaba en el modelo, o al revés.
Con una advertencia que va en el informe y no en la letra pequeña: recortar el razonamiento interno de un modelo baja su latencia y puede bajar también su nota. Si baja, la decisión deja de ser técnica y pasa a ser tuya: un modelo que necesita nueve minutos para un expediente de 3.500 tokens puede no tener sitio en tu proceso, y eso es un resultado legítimo de la medición, no un fallo que arreglar.
El entregable
Un dictamen, la evidencia debajo, y el trabajo repartido por quién lo ejecuta.
El informe abre con una frase que cierra la pregunta. El de nuestro propio nodo, fechado el 11 de septiembre de 2026, abría con esta: «falla por tiempo, no por tamaño». Debajo, la aritmética que la sostiene: la entrada de los tres expedientes cabía treinta y cinco veces en el límite declarado, así que el tamaño no intervenía; el nodo escribe a 10,88 tokens por segundo y la capa de acceso esperaba 600 segundos como mucho, así que ninguna respuesta de más de 6.528 tokens podía completarse nunca. Un expediente pasó con 29 segundos de margen; los otros dos no. La velocidad del nodo no es un defecto (es un dato físico) y el tope de 600 segundos tampoco lo es (es una decisión razonable para una capa de acceso). El defecto era que nadie había comparado los dos números.
Y a continuación lo que hace que el informe se pueda usar en lugar de discutirse: el reparto. Trece hallazgos, seis en el nodo y siete en la capa de acceso, cada uno con su evidencia, su esfuerzo estimado y su criterio de éxito. Del nodo salieron tres acciones; el resto era contexto que explicaba los números, no trabajo pendiente. Un dictamen que reparte culpa no se ejecuta; uno que reparte trabajo, sí.
El informe incluye además los arreglos que no hay que hacer, que suelen ser los tres primeros que se le ocurren a cualquiera. Subir el límite de entrada declarado rompe una protección que funciona: el nodo no da error cuando se pasa, recorta en silencio y responde igual, y el resultado es una nota alta construida sobre documentos mutilados (creíble, presentable y falsa). Recortar el presupuesto de salida hasta que la prueba pase la pone en verde sin arreglar nada y rompe la comparabilidad con todo lo demás. Y ampliar el contexto del servidor reduce la velocidad de escritura, que era justo el problema.
- Dictamen · una frase, y la magnitud que la sostiene
- Evidencia · el registro de cada ejecución, con el modelo que había detrás, la ventana declarada, la versión de los casos y la máquina
- Acciones del nodo · las que ejecuta tu equipo, con su esfuerzo y su criterio de éxito
- Acciones de la capa de acceso · las que ejecutamos nosotros, con el mismo detalle
- Descartes · lo que parece la solución y no lo es, con el motivo
Para quién no es
Cuatro casos en los que te lo diremos en la primera llamada.
Todavía estás decidiendo si hacerlo
Esta página es para quien ya lo ha decidido: lo haya montado, vaya a montarlo, o quiera que se lo entreguemos montado. Si la decisión sigue abierta, la conversación es otra y está en la página de la línea de infraestructura.
Lo que buscas es que confirmemos una decisión ya tomada
No lo hacemos, y está dicho arriba con todas las letras. Un informe que solo confirma lo que ya habías decidido no defiende la decisión: la repite.
El trabajo no admite una respuesta comprobable
Esto mide bien lo que tiene una única respuesta correcta: un importe, una clasificación, una lista de requisitos cumplidos. Que un resumen «esté bien» exige juicio, y un juicio no se puede poner al lado de otro para compararlos. Si tu caso es ese, te lo decimos antes de empezar.
Quieres hacerlo tú
Puedes, y el método está publicado entero para que puedas. Lanzar la prueba es la parte barata. La cara es todo lo que va antes: calcular la respuesta correcta a mano antes de que el modelo la vea, y justificar la tolerancia contra el error más pequeño que persigues. Sin eso, la nota que salga no significa nada.
Los límites
Decir esto es parte del método.
- No mide el conocimiento del modelo sobre normativa real. Mide su lectura de un expediente. Todos los tipos, tramos y límites viajan con el enunciado y son ficticios a propósito, para que la prueba siga siendo comparable entre entornos y entre fechas.
- No ejecuta el código que genera. Un requisito puede estar cumplido en el fichero y la página comportarse mal en un navegador. Se lee el fichero, entre otras cosas porque ejecutar código generado por un modelo dentro de tu perímetro es precisamente lo que no se quiere hacer.
- No dice todavía a partir de qué tamaño de contexto un modelo deja de acertar. Los casos tienen un tamaño fijo. La curva de calidad frente a contexto es un trabajo distinto y está pendiente.
- No ordena entre sí a dos modelos que ya resuelven los casos enteros. Certifica que se llega al nivel de referencia, no por cuánto se pasa. Para una decisión de perímetro eso basta; para un ranking, no sirve.
- No sustituye la validación sobre tu carga real. Los casos publicados son expedientes simulados: se parecen al trabajo, no son el trabajo. Un número obtenido con ellos orienta una decisión; los casos escritos sobre tus expedientes son los que la cierran.
- No estamos certificados en ISO 27001. Si tu pliego o tu auditoría lo exigen del proveedor, dilo en la primera llamada y te ahorramos el ciclo.
Con quién trabajas
Quien firma el dictamen es quien ha roto el instrumento cuatro veces.
Kairos Tek son dos socios. Uno lleva más de veinticinco años dirigiendo tecnología y producto, y ha asesorado a Europol, la Comisión Europea y el Banco de España. El otro lleva veinticinco programando y ha sido CTO en más de ocho empresas, construyendo y operando sistemas en producción. Entre ellos y tú no hay ninguna capa de gestión, porque no hay nadie más.
Eso importa aquí por una razón concreta y no por la de siempre: el dictamen que recibes reparte trabajo entre tu equipo y el nuestro, y quien lo escribe tiene que haber operado las dos mitades. Un informe que solo entiende una de ellas acaba adjudicando a la otra todo lo que no sabe explicar.
Empieza por saber qué nota saca hoy.
Y si todavía no lo has montado: ¿qué nota le vas a exigir? Una hora basta para saber si hay caso. Llevamos una agenda concreta: qué expedientes procesas, qué cifra tiene que salir de ellos, y qué nota considerarías suficiente. Si al final de esa hora la respuesta es que no hay caso, te lo decimos ahí.
El documento del método lleva las seis pruebas una a una, las trampas que persigue cada caso con la cifra que produce cada una, el suelo medido, el control negativo y los cuatro defectos del instrumento con su fecha. Se descarga sin dejar datos.