Una academia online de matemáticas invirtió 23,000 euros en crear su propio modelo de lenguaje especializado. Aquí están los números reales y las lecciones aprendidas.
Por qué decidieron crear un modelo propio
Los modelos genéricos como ChatGPT explicaban conceptos de cálculo de forma imprecisa el 34% de las veces según sus pruebas internas. Necesitaban explicaciones paso a paso consistentes con su metodología de enseñanza.
Proceso de desarrollo
Utilizaron Llama 2 como base y lo entrenaron con 15,000 problemas resueltos por sus profesores. El entrenamiento tomó 4 semanas en GPUs alquiladas en AWS. Coste de computación: 9,400 euros.
Métricas de rendimiento
El modelo mejoró la precisión al 89% en problemas de cálculo diferencial. En álgebra lineal: 82%. Pero en geometría analítica: solo 71%, peor que GPT-4. Tuvieron que mantener modelos diferentes según la materia.
Problemas técnicos encontrados
El modelo generaba explicaciones demasiado largas, promedio de 450 palabras cuando los estudiantes necesitaban 150. Tuvieron que implementar restricciones de longitud que bajaron la calidad en un 12%.
Costes de mantenimiento
Hosting del modelo: 680 euros mensuales. Actualizaciones trimestrales: 2,100 euros cada una. El coste acumulado en 10 meses: 32,800 euros, muy por encima del presupuesto inicial.
Conclusiones prácticas
Para volúmenes bajo 50,000 consultas mensuales, usar APIs de modelos comerciales es más económico. El modelo propio tiene sentido solo si necesitas control total sobre las respuestas o manejas datos sensibles. La barrera de entrada técnica es alta: necesitas un equipo con experiencia real en ML.