Q:
¿Cómo pueden los ingenieros evaluar los conjuntos de entrenamiento y los conjuntos de prueba para detectar posibles sobreajustes en el aprendizaje automático?
UN:Para comprender cómo se hace esto, es necesario tener una comprensión básica de los roles de los diferentes conjuntos de datos en un proyecto típico de aprendizaje automático. El conjunto de capacitación está configurado para darle a la tecnología un marco de referencia, una línea de base de datos que el programa utiliza para tomar decisiones predictivas y probabilísticas. El conjunto de prueba es donde prueba la máquina con datos.
El sobreajuste es un síndrome en el aprendizaje automático en el que el modelo no se ajusta completamente a los datos o al propósito.
| Descarga gratuita: Aprendizaje automático y por qué es importante |
Uno de los mandamientos generales del aprendizaje automático es que los datos de entrenamiento y los datos de prueba deben ser conjuntos de datos separados. Existe un consenso bastante amplio sobre esto, al menos en muchas aplicaciones, debido a algunos problemas específicos con el uso del mismo conjunto que utilizó para la capacitación para probar un programa de aprendizaje automático.
Cuando un programa de aprendizaje automático utiliza un conjunto de entrenamiento, que podría denominarse esencialmente un conjunto de entradas, está trabajando fuera de ese conjunto de entrenamiento para tomar decisiones sobre resultados predictivos. Una forma muy básica de pensarlo es que el conjunto de capacitación es el "alimento" para el proceso de computación intelectual.
Ahora, cuando se usa ese mismo conjunto para las pruebas, la máquina a menudo puede devolver excelentes resultados. Eso es porque ya ha visto esos datos antes. Pero el objetivo general del aprendizaje automático en muchos casos es obtener resultados sobre datos que no se han visto antes. Los programas de aprendizaje automático de propósito general están diseñados para operar en diversos conjuntos de datos. En otras palabras, el principio del aprendizaje automático es el descubrimiento, y generalmente no se obtiene tanto al usar un conjunto de entrenamiento inicial para fines de prueba.
Al evaluar los conjuntos de entrenamiento y los conjuntos de prueba para un posible sobreajuste, los ingenieros pueden evaluar los resultados y descubrir por qué un programa podría hacerlo de manera diferente en los resultados comparativos de estos dos conjuntos, o en algunos casos cómo la máquina podría funcionar demasiado bien en los datos de entrenamiento. .
Al describir hábilmente algunos de estos problemas en el aprendizaje automático en una pieza de 2014, Jason Brownlee en Machine Learning Mastery describe el sobreajuste de esta manera:
"Un modelo que se selecciona por su precisión en el conjunto de datos de entrenamiento en lugar de su precisión en un conjunto de datos de prueba invisible es muy probable que tenga una precisión menor en un conjunto de datos de prueba invisible", escribe Brownlee. "La razón es que el modelo no es tan generalizado. Se ha especializado en la estructura del conjunto de datos de entrenamiento (cursiva agregada). Esto se llama sobreajuste y es más insidioso de lo que piensas".
En términos simples, se podría decir que al especializarse en el conjunto de datos de capacitación, el programa se está volviendo demasiado rígido. Esa es otra forma metafórica de ver por qué un programa de aprendizaje automático no se sirve de manera óptima mediante el uso del conjunto de entrenamiento para el conjunto de prueba. También es una buena manera de abordar la evaluación de estos dos conjuntos diferentes, porque los resultados mostrarán mucho a los ingenieros sobre cómo funciona el programa. Desea una brecha menor entre la precisión para ambos modelos. Desea asegurarse de que el sistema no esté sobrealimentado o "fusionado con precisión" a un conjunto de datos en particular, sino que sea más general y capaz de crecer y evolucionar a pedido.
