¿Eliminar caracteres no UTF de una cadena en Ruby?

Question

¿Cómo borro los caracteres que no son UTF8 de una cadena de rubíes? Tengo una cadena que tiene, por ejemplo, "xC2" en ella. Quiero eliminar ese carácter de la cadena para que se convierta en un UTF8 válido.

Este:

text.gsub!(/\xC2/, '') 

devuelve un error:

incompatible encoding regexp match (ASCII-8BIT regexp with UTF-8 string) 

que estaba viendo text.unpack ('T *') y string.pack también, pero no llegaron a ninguna parte.

Answer 1

Puede utilizar /n, como en

text.gsub!(/\xC2/n, '') 

para forzar la expresión regular para operar en bytes.

¿Estás seguro de que esto es lo que quieres, sin embargo? Cualquier carácter Unicode en el rango [U + 80, U + BF] tendrá un \xC2 en su forma codificada UTF-8.

Answer 2

Usted puede hacerlo de esta manera

# encoding: utf-8 

class String 
    def validate_encoding 
    chars.select(&:valid_encoding?).join 
    end 
end 

puts "testing\xC2 a non UTF-8 string".validate_encoding 
#=>testing a non UTF-8 string 

Answer 3

Trate Iconv

1.9.3p194 :001 > require 'iconv' 
# => true 
1.9.3p194 :002 > string = "testing\xC2 a non UTF-8 string" 
# => "testing\xC2 a non UTF-8 string" 
1.9.3p194 :003 > ic = Iconv.new('UTF-8//IGNORE', 'UTF-8') 
# => #<Iconv:0x000000026c9290> 
1.9.3p194 :004 > ic.iconv string 
# => "testing a non UTF-8 string" 

Answer 4

Puede utilizar codifican para eso. text.encode('UTF-8', :invalid => :replace, :undef => :replace)

Para más información mire en Ruby-Docs

Answer 5

data = '' if not (data.force_encoding("UTF-8").valid_encoding?) 

Answer 6

La mejor solución a este problema que he encontrado es esta respuesta a la misma pregunta: https://stackoverflow.com/a/8711118/363293.

En resumen: "€foo\xA0".chars.select(&:valid_encoding?).join

Answer 7

Usted texto ASCII tienen 8BIT-codificación, en lugar usted debe utilizar este:

String.delete!("^\u{0000}-\u{007F}"); 

Se cortará el mismo propósito.