UTF expresiones regulares en Python

Question

Soy consciente de que Python 3 corrige un montón de cuestiones UTF, no obstante soy capaz de usar Python 3, estoy usando 2.5.1

Estoy tratando de regex un documento, pero el documento tiene guiones UTF en lugar de -. Python no puede hacer coincidir estos y si los pongo en la expresión regular arroja un tambaleante.

¿Cómo puedo forzar a Python a usar una cadena UTF o de alguna manera hacer coincidir un carácter como ese?

Gracias por su ayuda

Answer 1

Después de una prueba rápida y visita a PEP 0264: Defining Python Source Code Encodings, veo que tenga que decirle a Python todo el archivo es UTF -8 codificado al agregar agregando un comentario como este a la primera línea.

# encoding: utf-8 

Aquí está el archivo de prueba que creó y dirigió en Python 2.5.1/OS X 10.5.6

# encoding: utf-8 
import re 
x = re.compile("–") 
print x.search("xxx–x").start() 

Answer 2

Tienes que escapar del personaje en cuestión (-) y poner una u en frente de la cadena literal para que sea una cadena Unicode.

Así, por ejemplo, esto:

re.compile("–") 

se convierte en esto:

re.compile(u"\u2013") 

Answer 3

No utilizar UTF-8 en una expresión regular. UTF-8 es una codificación multibyte donde algunos puntos de código Unicode están codificados por 2 o más bytes. Puedes hacer coincidir partes de tu cuerda que no planeaste unir. En su lugar, use cadenas unicode como se sugiere.