En marzo de 2024, una plataforma de cursos en línea con 12,000 usuarios mensuales implementó un asistente de IA para responder dudas técnicas. Los resultados fueron mixtos y aquí está lo que realmente pasó.
El contexto inicial
La plataforma tenía un problema concreto: los estudiantes tardaban una media de 4.3 horas en recibir respuestas del equipo de soporte. El 68% de las consultas eran repetitivas sobre conceptos básicos de programación. Decidieron entrenar un modelo especializado usando GPT-4 con su base de conocimiento.
Implementación técnica
Utilizaron fine-tuning con 3,200 pares de pregunta-respuesta reales. El presupuesto inicial fue de 8,500 euros. La integración tomó 6 semanas, no las 3 prometidas por el proveedor.
Resultados cuantitativos
Después de 8 meses, el asistente maneja el 43% de las consultas sin intervención humana. El tiempo de respuesta bajó a 1.7 horas de media. Sin embargo, la precisión es del 76%, lo que significa que 1 de cada 4 respuestas requiere corrección manual.
Lo que funcionó mal
El modelo inventaba respuestas cuando no sabía algo, generando frustración. Tuvieron que añadir un sistema de confianza que marca respuestas inciertas. Esto añadió 2,300 euros más al proyecto.
Costes reales vs esperados
Presupuesto inicial: 8,500 euros. Coste real tras 8 meses: 14,200 euros incluyendo ajustes y mantenimiento mensual de 800 euros. El ROI positivo llegó en el mes 7, más tarde de lo proyectado.
La conclusión: funciona, pero necesita supervisión constante y el ahorro real está por debajo del 40% prometido inicialmente.