Rubí `dividida ': secuencia de bytes no válida en UTF-8 (ArgumentError)

Question

Estoy tratando de poblar el objeto de película, pero al analizar a través del archivo u.item consigo este error:

`split': invalid byte sequence in UTF-8 (ArgumentError)

File.open("Data/u.item", "r") do |infile| 
      while line = infile.gets 
       line = line.split("|") 
      end 
end 

El el error ocurre solo cuando se trata de dividir las líneas con una puntuación internacional sofisticada.

Aquí hay una muestra

543|Misérables, Les (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Mis%E9rables%2C%20Les%20%281995%29|0|0|0|0|0|0|0|0|1|0|0|0|1|0|0|0|0|0|0

es un trabajo en torno ??

Answer 1

Ruby es algo sensible a los problemas de codificación de caracteres. Puedes hacer una serie de cosas que pueden resolver tu problema. Por ejemplo:

1. Ponga un comentario de codificación en la parte superior de su archivo de origen.

   # encoding: utf-8 
   

2. Codifique explícitamente su línea antes de partir.

   line = line.encode('UTF-8').split("|") 
   

3. reemplazar los caracteres no válidos, en lugar de lanzar una excepción Codificación :: InvalidByteSequenceError.

   line.encode('UTF-8', :invalid => :replace).split("|") 
   

dar a estas sugerencias un tiro, y actualizar su pregunta si ninguno de ellos trabajan para usted. ¡Espero eso ayude!

Answer 2

que tuvieron que forzar la codificación de cada línea de iso-8859-1 (que es el conjunto de caracteres de Europa) ... http://en.wikipedia.org/wiki/ISO/IEC_8859-1

a=[] 
IO.foreach("u.item") {|x| a << x} 
m=[] 
a.each_with_index {|line,i| x=line.force_encoding("iso-8859-1").split("|"); m[i]=x}