Lección 5 de 5 · Intermedio · 6 min
Cómo se evalúa tu implementación
El laboratorio de QA clona la configuración del agente a un entorno sintético y corre conversaciones contra el clon, sin tocar los datos del cliente. Así se mide si un montaje quedó bien hecho.
Qué vas a lograr
Vas a entender cómo se mide objetivamente si tu montaje quedó bien, y qué revisar antes de entregarlo.
«Quedó bien» es una opinión. En un oficio nuevo, donde el cliente no sabe qué debería esperar y tú tampoco tienes con qué compararte, las opiniones no sirven para cobrar mejor ni para defender tu trabajo cuando algo falla.
Por eso las implementaciones se evalúan con el laboratorio de QA de la plataforma: el mismo que corre contra los negocios sintéticos de la galería de prompts antes de publicar cada uno.
Cómo funciona la evaluación
Se clona la configuración, no el negocio
El laboratorio lee la cuenta del cliente y copia a un entorno sintético lo que define el comportamiento del agente: el agente orquestador con su prompt y sus herramientas, los módulos habilitados, la base de conocimiento, el catálogo y los calendarios con sus horarios y servicios.
Se corre una batería de conversaciones contra el clon
Conversaciones exploratorias que ponen a prueba lo que el montaje promete: si cotiza bien, si agenda contra disponibilidad real, si responde con la información cargada en vez de improvisar, si escala a una persona cuando corresponde.
Los resultados son la evidencia
Cada conversación deja un veredicto. Eso es lo que convierte «quedó bien» en algo que se puede mostrar, discutir y corregir antes de entregar.
Qué revisar antes de entregar
La evaluación encuentra casi siempre los mismos cuatro descuidos. Revisarlos por tu cuenta te ahorra la corrección:
- El prompt le pide al agente que use herramientas que nadie habilitó. El agente entonces improvisa, que es justo lo que el prompt le prohíbe.
- La base de conocimiento tiene el folleto pero no las políticas: qué se puede devolver, qué descuento está autorizado, qué pasa si el cliente no llega a la cita.
- El calendario tiene servicios cargados pero no los horarios reales, así que el agente ofrece huecos que el negocio no puede atender.
- Nadie definió qué conversación debe escalar a una persona, y el agente intenta resolver solo lo que no le corresponde.
Y después de la evaluación
El paso siguiente ya está abierto: el directorio de aliados. Es donde un negocio que busca a alguien que le monte esto encuentra a quien sabe hacerlo, y donde tu ficha lleva el sello si el laboratorio evaluó una implementación tuya. La ficha tiene URL propia, y ésa es justamente la que verifica el sello cuando lo pegas en una propuesta.
Aparecer en el directorio y llevar el sello son dos cosas distintas: en el directorio entra cualquier aliado del programa con su ficha lista, y el sello depende de la evaluación. Pero el valor de la evaluación no espera al sello: entregas sabiendo que el montaje hace lo que prometiste, y eso es exactamente lo que sostiene el precio de tu implementación.
Terminaste Ruta del Aliado
Esa era la última lección de la ruta. Vuelve al índice para repasar cualquiera o empezar otra.
Volver a la Academia