El único objetivo de la analítica predictiva es el de predecir; mejores resultados de predicción, mejor es el modelo ejecutado. Al pronosticar si un cliente comprará o no un producto, los posibles resultados serán comprar o no comprar. La precisión se medirá como el número total de casos pronosticados correctamente ante el número total de casos, por ejemplo. Si tenemos 10.000 clientes y el modelo predice correctamente el resultado para 8.700, diríamos que la precisión del modelo es del 87%. Pero, ¿por qué tantos expertos en aprendizaje automático obtienen una alta precisión en su modelo, más sin embargo, todavía muestran un rendimiento bajo en su producción, o lo que es lo mismo, al aplicar el algoritmo a la realidad? Te explicamos por qué.
Errores comunes que incluso profesionales experimentados cometen
El título de este artículo puede ser engañoso, ya que la alta precisión es, por supuesto, lo que se consigue la mayor parte del tiempo, pero la pregunta clave es CÓMO el profesional de aprendizaje automático construye un modelo de alta precisión. Lo más importante para evaluar la exactitud de un modelo es contar con datos adicionales que no se utilizaron durante la construcción del modelo. Si tienes 10.000 clientes en el conjunto original de datos, debes dividir el conjunto de datos al azar entre entrenamientos y pruebas. El conjunto de entrenamiento debe representar alrededor del 80% de los datos originales y el de prueba el 20% restante. Un especialista nunca debe, bajo ninguna circunstancia, utilizar el conjunto de prueba durante la construcción del modelo. Esto se debe a que queremos probar el modelo en datos no vistos, para eso luego se utilizará el conjunto restante. Será como dar un vistazo al futuro.
Uno de los errores comunes que se cometen, incluso por los profesionales más experimentados es el de utilizar la información del grupo de prueba cuando se dividen los datos o durante el entrenamiento del modelo. En realidad, esto es más común de lo que piensas y podrá sonar trivial para algunos, pero este error conducirá a una precisión significativamente inflada, lo que le hará creer que tiene un modelo con, por ejemplo, una precisión del 92% cuando la precisión real podría ser del 75% o inferior. Es importante que tenga en cuenta este tipo de información al seleccionar una agencia analítica para su negocio o a algún experto en aprendizaje automático que afirma haber logrado una precisión sobresaliente para un problema complejo.
Aquí en Sumo Analytics somos conscientes de los riesgos comunes que se corren con la aplicación de las técnicas de aprendizaje automático. Nos esforzamos por obtener la mayor precisión posible al ayudar a nuestros clientes, al mismo tiempo que seguimos todas las reglas con respecto al manejo de los datos y la ejecución del modelo de predicción. Afirmamos que nuestro modelo alcanza un 92% de precisión, eso es lo que obtendrá al aplicar los resultados.