Python: ¿Cómo hacer que StringIO.writelines acepte una cadena unicode?

Question

estoy un

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa3' in position 34: ordinal not in range(128) 

en una cadena almacenada en 'a.desc' a continuación, ya que contiene el carácter '£'. Se almacena en el almacén de datos subyacente de Google App Engine como una cadena Unicode, así que está bien. La función cStringIO.StringIO.writelines está tratando de parecer tratando de codificar en formato ASCII:

result.writelines(['blahblah',a.desc,'blahblahblah']) 

¿Cómo se instruyen para el tratamiento de la codificación Unicode como si esa es la expresión correcta?

motor de aplicación se ejecuta en pitón 2,5

Answer 1

StringIO documentation:

A diferencia de los archivos de memoria implementadas por el módulo StringIO, los proporcionados por [cStringIO] no son capaces de aceptar cadenas Unicode que no puede ser codificado como cadenas simples ASCII.

Si es posible, use StringIO en lugar de cStringIO.

Answer 2

Puede envolver el objeto StringIO en un objeto codecs.StreamReaderWriter para codificar y decodificar automáticamente unicode.

De esta manera:

import cStringIO, codecs 
buffer = cStringIO.StringIO() 
codecinfo = codecs.lookup("utf8") 
wrapper = codecs.StreamReaderWriter(buffer, 
     codecinfo.streamreader, codecinfo.streamwriter) 

wrapper.writelines([u"list of", u"unicode strings"]) 

buffer estará lleno de bytes codificación UTF-8.

Si entiendo su caso correctamente, sólo tendrá que escribir, por lo que también podría hacer:

import cStringIO, codecs 
buffer = cStringIO.StringIO() 
wrapper = codecs.getwriter("utf8")(buffer) 

Answer 3

También puede codificar la cadena como UTF-8 de forma manual antes de añadir a la StringIO

for val in rows: 
    if isinstance(val, unicode): 
     val = val.encode('utf-8') 
result.writelines(rows) 

Answer 4

Python 2.6 introdujo el módulo io y debería considerar usar io.StringIO(), "Una secuencia en memoria para texto Unicode".

En versiones antiguas de python esto no está optimizado (Python puro), en versiones posteriores esto se ha optimizado para el código C (rápido).