Una escuela de diseño con 800 alumnos implementó IA para corregir respuestas abiertas en exámenes. El objetivo: reducir 120 horas mensuales de corrección manual. Lo lograron, pero aparecieron problemas que no anticiparon.
El sistema implementado
Utilizaron GPT-4 con rúbricas detalladas para evaluar respuestas de entre 100-300 palabras. El modelo asignaba puntuaciones de 0-10 y generaba feedback específico. Costó 4,200 euros configurarlo más 340 euros mensuales de uso de API.
Resultados iniciales
Primera ronda: 240 exámenes corregidos en 3 horas vs 16 horas manualmente. El ahorro de tiempo fue real. La correlación entre notas de IA y profesores en una muestra de 50 exámenes: 0.84, considerado aceptable estadísticamente.
Los problemas aparecieron después
La IA penalizaba respuestas creativas que se salían de la rúbrica, incluso cuando eran válidas. Un estudiante respondió una pregunta sobre teoría del color usando analogías musicales: recibió 4.5. Revisión manual: 8.5. Esto pasó en el 8% de los exámenes.
Sesgo en estilos de escritura
Estudiantes con respuestas concisas y directas recibían notas más bajas que aquellos con respuestas largas y estructuradas formalmente, independientemente del contenido. La IA valoraba cantidad y formato sobre sustancia en ciertos casos.
Ajustes necesarios
Implementaron revisión humana obligatoria para el 20% de exámenes seleccionados aleatoriamente. Esto redujo el ahorro de tiempo del 87% inicial al 64%. Añadieron un proceso de apelación: el 11% de estudiantes lo usaron en el primer semestre, generando trabajo adicional inesperado.
Balance después de un año
Sigue siendo más rápido que corrección manual, pero requiere supervisión constante. El coste total anual fue de 8,280 euros, no los 5,000 proyectados. Funciona mejor para evaluaciones con criterios objetivos que para análisis creativos.