Cómo implementar la coincidencia de cadena Unicode plegando en python

Question

Tengo una aplicación que implementa la búsqueda incremental. Tengo un catálogo de cadenas de Unicode que se emparejarán y las uniré a una cadena de "clave" dada; una cadena de catálogo es un "acierto" si contiene todos los caracteres de la clave, en orden, y se clasifica mejor si los caracteres clave se agrupan en la cadena del catálogo.

De todos modos, esto funciona bien y coincide exactamente con Unicode, por lo que "öst" coincidirá con "Öst Blocket" o "r öst" o "r ö d st en".

De todos modos, ahora quiero implementar plegado, ya que hay algunos casos en los que no es útil distinguir entre un carácter de catálogo como "á" o "é" y el carácter "a" o "e".

Por ejemplo: "Ole" debe coincidir con "Olé"

¿Cómo implementar mejor este matcher Unicode-plegable en Python? La eficiencia es importante ya que tengo que unir miles de cadenas de catálogo con la clave corta dada.

No tiene que convertirlo en ascii; de hecho, la cadena de salida del algoritmo podría ser unicode. Dejar a un personaje es mejor que desnudarlo.

---

No sé qué respuesta aceptar, ya que uso un poco de ambos. Tomar la descomposición de NKFD y eliminar las marcas de combinación casi llega al final, solo agrego algunas transliteraciones personalizadas a eso. Aquí está el módulo como se ve ahora: (Advertencia, contiene caracteres Unicode en línea, ya que es mucho más agradable para editar esa manera.)

# -*- encoding: UTF-8 -*- 

import unicodedata 
from unicodedata import normalize, category 

def _folditems(): 
    _folding_table = { 
     # general non-decomposing characters 
     # FIXME: This is not complete 
     u"ł" : u"l", 
     u"œ" : u"oe", 
     u"ð" : u"d", 
     u"þ" : u"th", 
     u"ß" : u"ss", 
     # germano-scandinavic canonical transliterations 
     u"ü" : u"ue", 
     u"å" : u"aa", 
     u"ä" : u"ae", 
     u"æ" : u"ae", 
     u"ö" : u"oe", 
     u"ø" : u"oe", 
    } 

    for c, rep in _folding_table.iteritems(): 
     yield (ord(c.upper()), rep.title()) 
     yield (ord(c), rep) 

folding_table = dict(_folditems()) 

def tofolded(ustr): 
    u"""Fold @ustr 

    Return a unicode str where composed characters are replaced by 
    their base, and extended latin characters are replaced by 
    similar basic latin characters. 

    >>> tofolded(u"Wyłącz") 
    u'Wylacz' 
    >>> tofolded(u"naïveté") 
    u'naivete' 

    Characters from other scripts are not transliterated. 

    >>> tofolded(u"Ἑλλάς") == u'Ελλας' 
    True 

    (These doctests pass, but should they fail, they fail hard) 
    """ 
    srcstr = normalize("NFKD", ustr.translate(folding_table)) 
    return u"".join(c for c in srcstr if category(c) != 'Mn') 

if __name__ == '__main__': 
    import doctest 
    doctest.testmod() 

(Y, para el juego real, si que interesa a nadie: construyo doblé cuerdas para todo mi catálogo de antemano, y poner las versiones dobladas en la propiedad catálogo de objetos alias ya disponible)

Answer 1

Puede utilizar thisstrip_accents función para quitar los acentos:

def strip_accents(s): 
    return ''.join((c for c in unicodedata.normalize('NFD', unicode(s)) if unicodedata.category(c) != 'Mn')) 

>>> strip_accents(u'Östblocket') 
'Ostblocket' 

Answer 2

tener un vistazo a esto:. ftp://alan.smcvt.edu/hefferon/unicode2ascii.py

Probablemente no es completa, pero podría empezar.

Answer 3

Una solución de propósito general (especialmente para la normalización de búsqueda y babosas electrógenos) es el módulo unidecode:

http://pypi.python.org/pypi/Unidecode

¡Es un puerto del módulo Text :: Unidecode para Perl. No está completo, pero traduce todos los caracteres latinos que pude encontrar, transcribe el cirílico, el chino, etc. al latín e incluso maneja correctamente los caracteres de ancho completo.

Es probablemente una buena idea para quitar simplemente todos los caracteres que no desea tener en la salida final o reemplazarlos con un relleno (por ejemplo "äßœ$" se unidecoded a "assoe$", así que sería bueno para despojar a la no alfanuméricos)Para los caracteres que será transcribir, pero no debería (por ejemplo, § =>SS y € =>EU) que necesita para limpiar la entrada:

input_str = u'äßœ$' 
input_str = u''.join([ch if ch.isalnum() else u'-' for ch in input_str]) 
input_str = str(unidecode(input_str)).lower() 

Esto reemplazaría todos los caracteres no alfanuméricos con un maniquí y el reemplazo luego translitera la cadena y conviértela en minúscula.

Answer 4

¿Qué pasa con éste:

normalize('NFKD', unicode_string).encode('ASCII', 'ignore').lower() 

Tomado de aquí (español) http://python.org.ar/pyar/Recetario/NormalizarCaracteresUnicode

Answer 5

Para mi solicitud, que ya ha dirigido esto en un comentario distinto: Quiero tener un Unicode resultado y dejar caracteres no controlados intactos.

En ese caso, la forma correcta de hacerlo es crear un objeto de compaginación UCA con su intensidad establecida para comparar únicamente con la resistencia primaria, lo que hace caso omiso por completo de los signos diacríticos.

Muestro cómo hacer esto usando Perl en this answer. El primer objeto de compaginación tiene la fuerza que necesita, mientras que el segundo considera los acentos para desempatar.

Observará que no se han dañado las cadenas en la realización de estas comparaciones: los datos originales no se han modificado.