Hola a todos. Hoy quiero hablaros de algo que, para mí, separa un agente “de demo” de un agente que puede ir a producción: las evaluaciones automáticas en Copilot Studio.
Durante meses, la forma habitual de probar un agente era abrir el panel Test your agent, escribir preguntas una a una y fiarse de la memoria. Funciona para un prototipo, pero no escala, y en un entorno regulado no deja evidencia. Eso ya no tiene por qué ser así.
Qué hay de nuevo
Desde el propio panel de pruebas tenéis un icono Evaluate que os lleva directamente a crear un conjunto de pruebas (test set) para vuestro agente. Las preguntas que ya habéis lanzado en el chat de prueba se pueden reutilizar para construir ese conjunto, así que el trabajo manual que hacéis al probar no se pierde.
Algunas piezas clave:
- Las evaluaciones de agentes son GA desde marzo de 2026, incluidas las pruebas de conversaciones multi-turno, no solo pregunta-respuesta.
- Un test set admite hasta 100 casos de prueba, que podéis escribir a mano, importar desde una plantilla CSV o generar.
- Cada caso se valora con un método de prueba: calidad general, coincidencia de palabras clave, uso correcto de herramientas, etc.
- Además, hay evaluadores de seguridad (odio e injusticia, contenido sexual, violencia y autolesiones) para detectar respuestas problemáticas antes de publicar.
- Copilot Studio mide el tiempo de respuesta de cada interacción. No afecta al aprobado o suspenso, pero es oro para detectar regresiones de rendimiento.
Lo que llegó en abril
En abril se dio el paso que a mí más me interesa: automatizar las evaluaciones.
| Novedad | Estado | Para qué sirve |
|---|---|---|
| Conector de Copilot Studio para lanzar evaluaciones desde Power Automate | Disponible | Ejecutar un test set de forma programada o tras un cambio |
| Evaluaciones desde la API REST de Power Platform | Preview | Integrarlas en pipelines de CI/CD |
Con esto, una evaluación deja de ser algo que “alguien se acuerda de lanzar” y pasa a ser un paso más de vuestro ciclo de vida.
El panel de revisión os avisa
Otro detalle muy práctico: el botón Review de la barra superior os avisa cuando el agente no tiene ninguna evaluación o cuando el modelo ha cambiado desde la última. No bloquea la publicación, pero es un recordatorio perfecto para no subir a producción un agente que ya no se comporta igual.
Ojo: los resultados se guardan en Copilot Studio durante 89 días. Si necesitáis conservarlos más tiempo (auditoría, validación), exportadlos a CSV.
Cómo lo aplicaría yo en un entorno GxP o SOX
- Un test set por caso de uso crítico, con preguntas reales de negocio y respuestas esperadas revisadas por el área funcional.
- Evaluar siempre tras cambiar instrucciones, conocimiento, herramientas o modelo. El aviso de Review os ayuda, pero no dependáis solo de él.
- Automatizar la ejecución con el conector o la API y guardar el CSV como evidencia en vuestro repositorio de validación.
- Combinar evaluación y chat de prueba. La evaluación es repetible; el chat de prueba os deja recorrer una sesión completa como un usuario. Necesitáis las dos.
- Evaluar con el usuario adecuado. La evaluación se ejecuta con la identidad del usuario conectado, así que si los permisos importan, probad con la cuenta correcta.
Mi conclusión
Las evaluaciones convierten la calidad de un agente en algo medible y repetible. Si estáis llevando agentes a producción, sobre todo cerca del ERP, este es el primer hábito que os recomiendo adoptar.
¿Ya estáis evaluando vuestros agentes o seguís probando a mano? Contádmelo en los comentarios.
Fuentes: About agent evaluation (Microsoft Learn) · Run evaluations and view results (Microsoft Learn) · What’s new in Copilot Studio (Microsoft Learn)
