Utilidades IAEvaluar respuestas de IA con criterios: rúbricas simples
Por qué una rúbrica mejora tu juicio
Un texto fluido y seguro resulta convincente aunque contenga errores. Sin criterios previos, tendemos a valorar el estilo y a pasar por alto lo que falta o sobra. Una rúbrica es una lista breve de aspectos a comprobar con una escala sencilla, y obliga a mirar siempre lo mismo.
Además, permite comparar. Si cambias la instrucción o la herramienta, puedes puntuar ambas respuestas con el mismo criterio y ver cuál es mejor en realidad, no cuál te gustó más a primera vista. También facilita que varias personas evalúen igual y que se explique por qué se acepta o se rechaza un resultado.
Criterios básicos que casi siempre sirven
Para empezar, estos seis criterios cubren la mayoría de los casos y se pueden adaptar a cada tarea.
- Exactitud: los hechos, datos y razonamientos son correctos.
- Relevancia: responde a lo que se pidió, sin desvíos.
- Completitud: no omite puntos importantes.
- Claridad: se entiende, está bien ordenada y tiene el tono adecuado.
- Fundamento: señala de dónde sale lo afirmado o admite incertidumbre.
- Seguridad: no incluye datos sensibles, sesgos o consejos arriesgados.
No todos pesan igual. En un resumen interno, la exactitud y la completitud mandan; en un texto comercial, el tono cobra más peso.
Una escala corta y descriptores concretos
Usa una escala de tres o cuatro niveles; más niveles complican sin aportar. Por ejemplo: 0 no cumple, 1 cumple en parte, 2 cumple bien. Lo esencial es describir con palabras qué significa cada nivel en cada criterio, para que la nota no dependa del humor del día.
Por ejemplo, para exactitud: 0 contiene errores relevantes, 1 es correcta salvo detalles menores, 2 todos los datos comprobados son correctos. Escribe la rúbrica una vez, guárdala y reutilízala. Si un criterio es crítico, define un mínimo obligatorio: si la exactitud puntúa 0, el resultado se descarta aunque las demás notas sean altas.
Adapta la rúbrica a cada tarea
Una rúbrica útil refleja lo que importa en tu caso. Para un resumen de reunión, añade «recoge todas las decisiones y responsables». Para una respuesta a un cliente, «tono cordial y sin promesas que la empresa no pueda cumplir». Para código, «funciona con los casos de prueba y no introduce riesgos de seguridad».
Limítate a cinco o siete criterios: una lista larga no se usa. Pregúntate qué errores serían más costosos en esa tarea y conviértelos en criterios explícitos. Revisa la rúbrica después de las primeras evaluaciones, porque seguramente descubrirás fallos recurrentes que merecen su propia casilla.
Cómo comprobar la exactitud en la práctica
La exactitud es el criterio más difícil. Empieza por subrayar las afirmaciones comprobables: cifras, nombres, fechas, citas, referencias a normas. Comprueba una a una las más importantes en fuentes fiables y distintas de la propia respuesta. Si no puedes comprobar algo relevante, trátalo como no verificado.
Desconfía especialmente de lo muy específico que no pediste, de las referencias bibliográficas y de las citas literales: son lugares habituales de invención. Pide a la herramienta que indique qué partes son menos seguras, pero no tomes su autoevaluación como prueba. En asuntos legales, médicos, fiscales o financieros, la verificación por un profesional no es opcional.
Compara versiones y mejora la instrucción
Una rúbrica sirve también para mejorar el resultado. Genera dos o tres respuestas con instrucciones distintas y puntúalas con los mismos criterios. Verás qué cambio de redacción mejora la completitud, o cuál reduce los datos inventados.
Anota los fallos que se repiten y conviértelos en instrucciones: «si no estás seguro, dilo», «usa solo la información que te doy», «responde en tres párrafos». Evalúa con varios ejemplos distintos, no con uno solo, para no ajustarte a un caso afortunado. Con el tiempo tendrás una pequeña biblioteca de instrucciones probadas y puntuadas que te ahorrará trabajo.
Límites de la evaluación y uso de una segunda IA
A veces se pide a otra herramienta de IA que puntúe una respuesta. Puede servir como primera revisión de estructura o claridad, pero comparte los mismos riesgos: puede pasar por alto errores, favorecer textos parecidos a los suyos o dar notas altas con seguridad. No sustituye la comprobación de hechos.
Tampoco olvides que una rúbrica mide lo que tú has decidido medir. Un resultado con buena nota puede seguir siendo inadecuado por una razón no prevista. Complementa la puntuación con una lectura final humana, sobre todo si el texto va a salir de la organización o afecta a personas, y asume que la responsabilidad del resultado es tuya.
Preguntas frecuentes
¿Cuántos criterios debe tener una rúbrica?
Entre cinco y siete suele ser suficiente. Con menos pierdes matices y con más no se usa. Elige los que reflejen los errores más costosos de tu tarea concreta.
¿Puedo usar una IA para evaluar a otra?
Como apoyo para revisar estructura o claridad, sí. No sustituye la comprobación de datos, porque puede cometer los mismos errores y dar notas altas con seguridad.
¿Qué hago si la respuesta puntúa bien pero me da mala espina?
Hazle caso: la rúbrica puede no cubrir ese fallo. Revisa de nuevo, consulta una fuente fiable y añade un criterio a la rúbrica si descubres un problema que se repite.
Guías relacionadas
- Alucinaciones de la IA: qué son y cómo detectarlas: Las alucinaciones son respuestas falsas con apariencia convincente. Entiende por qué ocurren, qué señales delatan un error y cómo verificar los datos.
- Cómo escribir buenos prompts: guía práctica: Aprende a redactar instrucciones claras para un asistente de IA: contexto, formato, ejemplos e iteración, con errores típicos y cómo corregirlos.
- Cómo evaluar una herramienta de IA antes de adoptarla: Checklist práctico para valorar una herramienta de IA: utilidad real, calidad, privacidad, costes, dependencia del proveedor y plan de salida.