Regex de Java más lento de lo esperado

Question

Me han encargado la lectura de archivos CSV grandes (más de 300k registros) y aplicar patrones de expresiones regulares a cada registro. Siempre he sido un desarrollador de PHP y nunca he probado ningún otro idioma, pero decidí que debería hacer una inmersión e intentar hacer esto con Java, que supuse que sería mucho más rápido.

De hecho, solo leer el archivo CSV línea por línea fue 3 veces más rápido en Java. Sin embargo, cuando apliqué los requisitos de expresiones regulares, la implementación de Java demostró demorar un 10-20% más que el script PHP.

Es muy posible que haya hecho algo mal en Java, porque acabo de aprender esto como lo hice hoy. A continuación están los dos guiones, cualquier consejo sería muy apreciado. Realmente me gustaría no darme por vencido con Java para este proyecto en particular.

CÓDIGO PHP

<?php 
$bgtime=time(); 
$patterns =array(
    "/SOME REGEXP/", 
    "/SOME REGEXP/",      
    "/SOME REGEXP/",  
    "/SOME REGEXP/" 
); 

$fh = fopen('largeCSV.txt','r'); 
while($currentLineString = fgetcsv($fh, 10000, ",")) 
{ 
    foreach($patterns AS $pattern) 
    { 
     preg_match_all($pattern, $currentLineString[6], $matches); 
    } 
} 
fclose($fh); 
print "Execution Time: ".(time()-$bgtime); 

?> 

código Java

import au.com.bytecode.opencsv.CSVReader; 
import java.io.FileReader; 
import java.io.IOException; 
import java.util.regex.Pattern; 
import java.util.regex.Matcher; 
import java.util.ArrayList; 

public class testParser 
{ 
    public static void main(String[] args) 
    { 
     long start = System.currentTimeMillis(); 


     String[] rawPatterns = { 
        "SOME REGEXP", 
        "SOME REGEXP",      
        "SOME REGEXP",  
        "SOME REGEXP"  
     }; 

     ArrayList<Pattern> compiledPatternList = new ArrayList<Pattern>();   
     for(String patternString : rawPatterns) 
     { 
      Pattern compiledPattern = Pattern.compile(patternString); 
      compiledPatternList.add(compiledPattern); 
     } 


     try{ 
      String fileName="largeCSV.txt"; 
      CSVReader reader = new CSVReader(new FileReader(fileName)); 

      String[] header = reader.readNext(); 
      String[] nextLine; 
      String description; 

      while((nextLine = reader.readNext()) != null) 
      { 
       description = nextLine[6]; 
       for(Pattern compiledPattern : compiledPatternList) 
       { 
        Matcher m = compiledPattern.matcher(description); 
        while(m.find()) 
        { 
         //System.out.println(m.group(0)); 
        }     
       } 
      } 
     } 

     catch(IOException ioe) 
     { 
      System.out.println("Blah!"); 
     } 

     long end = System.currentTimeMillis(); 

     System.out.println("Execution time was "+((end-start)/1000)+" seconds."); 
    } 
} 

Answer 1

no veo nada manifiestamente equivocada con su código. Intente aislar el cuello de botella de rendimiento con un perfilador. Encuentro que el perfil netbeans es muy fácil de usar.

EDITAR: ¿Por qué especular? Perfile la aplicación y obtenga un informe detallado de dónde se gasta el tiempo. Luego trabaje para resolver las áreas ineficientes. Ver http://profiler.netbeans.org/ para más información.

EDIT2: OK, me aburrí y describí esto. Mi código es idéntica a la suya y analiza un archivo CSV con 1.000 líneas idénticas de la siguiente manera:

SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP,SOME REGEXP 

Estos son los resultados (obviamente, los resultados serán diferentes ya que mis expresiones regulares son triviales). Sin embargo, es fácil ver que el procesamiento de expresiones regulares no es su principal área de preocupación.

Curiosamente, si aplico un BufferedReader, el rendimiento se ve reforzada por la friolera de 18% (ver más abajo).

Answer 2

Algunos puntos a tener en cuenta aquí.

1. Empieza a medir el tiempo incluso antes de compilar los patrones. Pattern.compile es una operación relativamente costosa y puede consumir más tiempo si el patrón es complejo. ¿Por qué no comenzar a medirlo después del paso de compilación?

2. No estoy seguro de qué tan eficiente es la clase CSVReader.

3. En lugar de imprimir directamente los resultados coincidentes en el hilo principal en sí, (como System.out.println es de bloqueo y costoso) podría quizás delegar la impresión a un hilo diferente.

Answer 3

varias cosas:

1. La expresión regular tiene que ser compilado una sola vez y que debe estar en el inicio del servidor por lo que no tiene importancia para el rendimiento a la vez su funcionamiento.

2. Y lo que es más importante, está escribiendo un punto de referencia completamente inválido para un programa java de larga ejecución. Seguramente estará cargando varias clases mientras hace benchmarking y, en general, solo prueba el rendimiento del intérprete y NO el JIT, lo que obviamente dará como resultado un rendimiento mucho peor. Ver this excelente publicación sobre cómo escribir un punto de referencia válido en java. Sin duda, esto solucionará todos los supuestos problemas de rendimiento en este caso.

Answer 4

El uso de un lector tamponada podría mejorar el rendimiento conseguir un poco mejor:

CSVReader reader = new CSVReader(new BufferedReader(new FileReader(fileName))); 

Answer 5

lo recomiendo:

• como alguien ha sugerido, el perfil para ver donde el cuello de botella real es;
• díganos cuáles son las expresiones regulares reales: es posible que esté utilizando algún subpatrón específico que no sea muy eficiente en la implementación de Java.

Es muy posible que las partes del motor de expresiones regulares de PHP estén más optimizadas que las de Java para tipos de expresión específicos, y/o que hay una manera de optimizar la expresión real que está utilizando.