Medición del rendimiento del algoritmo de clasificación

Question

Tengo un problema de clasificación en la mano, que me gustaría abordar con un algoritmo de aprendizaje automático (Bayes, o Markovian probablemente, la pregunta es independiente del clasificador que se utilizará) . Dadas varias instancias de capacitación, estoy buscando una manera de medir el rendimiento de un clasificador implementado, teniendo en cuenta el problema de sobreajuste de datos.

Esto es: dadas las muestras de entrenamiento N [1..100], si ejecuto el algoritmo de entrenamiento en cada una de las muestras, y utilizo estas mismas muestras para medir la aptitud, podría quedar atrapado en un problema de sobreajuste de datos. el clasificador sabrá las respuestas exactas para las instancias de entrenamiento, sin tener mucho poder predictivo, haciendo inútiles los resultados de la aptitud física.

Una solución obvia sería separar las muestras etiquetadas a mano en el entrenamiento y las muestras de prueba; y me gustaría aprender sobre los métodos para seleccionar las muestras estadísticamente significativas para el entrenamiento.

Libros blancos, punteros de libros y PDF muy apreciados!

Answer 1

Puede usar 10-fold Cross-validation para esto. Creo que es un enfoque bastante estándar para la evaluación del rendimiento del algoritmo de clasificación.

La idea básica es dividir sus muestras de aprendizaje en 10 subconjuntos. Luego use un subconjunto para datos de prueba y otros para datos de trenes. Repita esto para cada subconjunto y calcule el rendimiento promedio al final.

Answer 2

Como el Sr. Brownstone dijo que la Validación cruzada 10 veces es probablemente la mejor manera de hacerlo. Recientemente tuve que evaluar el rendimiento de varios clasificadores diferentes para esto. Utilicé Weka. Que tiene una API y una carga de herramientas que le permiten probar fácilmente el rendimiento de muchos clasificadores diferentes.