Evaluación de sistemas LLM
Las evaluaciones específicas de la tarea superan a los benchmarks públicos. Cómo construir un arnés de evaluación en el que confíen tanto sus auditores como sus ingenieros.
Un modelo que encabeza una clasificación pública aún puede equivocarse en la forma concreta que le importa a su negocio. Los benchmarks miden la capacidad general. Su sistema necesita una evaluación creada para su tarea.
Esta es la pieza menos desarrollada de la integración de LLM en la empresa. Los equipos lanzan por intuición (se veía bien en las pruebas), y luego descubren los modos de fallo en producción, donde son caros. Un arnés de evaluación en condiciones adelanta ese descubrimiento a antes del lanzamiento y lo mantiene ahí.
Empiece por la referencia
La evaluación empieza con un conjunto de ejemplos reales, etiquetados por personas que entienden el dominio. No prompts sintéticos, sino entradas reales que el sistema verá, emparejadas con la respuesta que daría un humano competente. Unos cientos de ejemplos bien elegidos valen más que diez mil genéricos.
Este conjunto de referencia es un activo. Codifica lo que significa «bueno» para su tarea en una forma que una máquina puede comprobar. Trátelo como código: versiónelo, hágalo crecer y añádale cada fallo interesante que encuentre en producción.
Mida los comportamientos que importan
Una única puntuación de calidad oculta más de lo que revela. Los sistemas reales deben medirse en varios ejes a la vez:
- Precisión: ¿es correcta la respuesta frente a la referencia?
- Fundamento: en los sistemas de recuperación, ¿está cada afirmación respaldada por una fuente citada?
- Rechazo: ¿rechaza el sistema cuando debe y no cuando no debe?
- Costo y latencia: ¿compensa la calidad lo que cuesta producirla, a la velocidad que los usuarios necesitan?
Una única puntuación de calidad oculta más de lo que revela.
El arnés es infraestructura
Un conjunto de evaluación no es un ejercicio puntual antes del lanzamiento. Se ejecuta en integración continua, de modo que un cambio de prompt que rompe la exactitud hace fallar la compilación. Se ejecuta de forma programada en producción, de modo que la deriva aparece como una métrica, no como una queja. Es el instrumento que le permite cambiar el sistema con confianza, y en un campo donde los modelos se actualizan constantemente, esa confianza lo es todo.
Hágalo legible para quienes no son ingenieros
Los mejores arneses de evaluación producen un informe que un responsable de riesgos puede leer. Cuando puede mostrar «así rinde el sistema en estos casos etiquetados, así ha cambiado desde la última publicación», convierte una preocupación abstracta en un artefacto concreto y revisable. Esa legibilidad es lo que hace que el sistema supere las salas en las que de otro modo se estancaría.
Puntos clave
- Los benchmarks públicos miden la capacidad general; su sistema necesita una evaluación específica de la tarea.
- Construya un conjunto de referencia a partir de ejemplos reales etiquetados por sus expertos en la materia.
- Mida los comportamientos que importan: exactitud, fundamento, rechazo y costo, no solo una puntuación.
- Un arnés de evaluación es infraestructura: se ejecuta en la CI y de forma programada, para siempre.