Cómo entrenar incrementalmente un clasificador nltk

Question

Estoy trabajando en un proyecto para clasificar fragmentos de texto utilizando el módulo nltk de python y el clasificador naivebayes. Puedo entrenar en datos de corpus y clasificar otro conjunto de datos, pero me gustaría proporcionar información de entrenamiento adicional en el clasificador después del entrenamiento inicial.

Si no me equivoco, no parece haber una manera de hacerlo, ya que el método NaiveBayesClassifier.train toma un conjunto completo de datos de entrenamiento. ¿Hay alguna manera de agregar los datos de entrenamiento sin alimentar el conjunto de características original?

Estoy abierto a sugerencias que incluyen otros clasificadores que pueden aceptar nuevos datos de entrenamiento a lo largo del tiempo.

Answer 1

Hay 2 opciones, que yo sepa:

1) Periódicamente volver a entrenar al clasificador en los nuevos datos. Debería acumular nuevos datos de entrenamiento en un corpus (que ya contiene los datos de entrenamiento originales), luego, cada pocas horas, volver a entrenar & volver a cargar el clasificador. Esta es probablemente la solución más simple.

2) Externalice el modelo interno y luego actualícelo manualmente. El NaiveBayesClassifier se puede crear directamente dándole un label_prodist y un feature_probdist. Puede crearlos por separado, pasarlos a un NaiveBayesClassifier, luego actualizarlos cada vez que ingresen datos nuevos. El clasificador usaría estos datos nuevos inmediatamente. Tendría que mirar el método train para obtener detalles sobre cómo actualizar las distribuciones de probabilidad.

Answer 2

Estoy aprendiendo NLTK, por favor corrígeme si me equivoco. Esto está usando la rama Python 3 de NLTK, que podría ser incompatible.

Existe un método update() a la NaiveBayesClassifier ejemplo, que parece añadir a los datos de entrenamiento:

from textblob.classifiers import NaiveBayesClassifier 

train = [ 
    ('training test totally tubular', 't'), 
] 

cl = NaiveBayesClassifier(train) 
cl.update([('super speeding special sport', 's')]) 

print('t', cl.classify('tubular test')) 
print('s', cl.classify('super special')) 

Esto muestra:

t t 
s s 

Answer 3

Como dijo Jacob, el segundo método es el forma correcta Y es de esperar que alguien escriba un código

Mirar

https://baali.wordpress.com/2012/01/25/incrementally-training-nltk-classifier/