Reconocimiento de entidad con nombre NLTK en holandés

Question

Estoy tratando de extraer entidades con nombre del texto en holandés. Usé nltk-trainer para entrenar a un etiquetador y un chunker en el corpus holandés conll2002. Sin embargo, el método de análisis de chunker no detecta ninguna entidad con nombre. Aquí está mi código:

str = 'Christiane heeft een lam.' 

tagger = nltk.data.load('taggers/dutch.pickle') 
chunker = nltk.data.load('chunkers/dutch.pickle') 

str_tags = tagger.tag(nltk.word_tokenize(str)) 
print str_tags 

str_chunks = chunker.parse(str_tags) 
print str_chunks 

Y la salida de este programa:

[('Christiane', u'N'), ('heeft', u'V'), ('een', u'Art'), ('lam', u'Adj'), ('.', u'Punc')] 
(S Christiane/N heeft/V een/Art lam/Adj ./Punc) 

que estaba esperando Christiane para ser detectado como una entidad nombrada. ¿Alguna ayuda?

Answer 1

El corpus conll2002 tiene texto en español y en holandés, por lo que debe asegurarse de usar el parámetro fileids, como en python train_chunker.py conll2002 --fileids ned.train. El entrenamiento en español y holandés tendrá resultados pobres.

El algoritmo predeterminado es un Chunker basado en Tagger, que no funciona bien en conll2002. En su lugar, utilizar un clasificador basado chunker como NaiveBayes, por lo que el comando completo podría tener este aspecto (y he confirmado que el chunker resultante reconoce "Christiane" como un "PER"):

python train_chunker.py conll2002 --fileids ned.train --classifier NaiveBayes --filename ~/nltk_data/chunkers/conll2002_ned_NaiveBayes.pickle