Java HTML Parsing

Question

Estoy trabajando en una aplicación que raspa los datos de un sitio web y me preguntaba cómo debería obtener los datos. Específicamente necesito datos contenidos en una serie de etiquetas div que utilizan una clase CSS específica - Actualmente (para propósitos de prueba) Sólo estoy comprobando

div class = "classname" 

en cada línea de HTML - Esto funciona, pero no puedo' Ayuda, pero siento que hay una mejor solución por ahí.

¿Hay alguna manera agradable en el que podía dar una clase de una línea de HTML y tener algunos métodos interesantes como:

boolean usesClass(String CSSClassname); 
String getText(); 
String getLink(); 

Answer 1

varios años he usado JTidy para el mismo propósito:.

http://jtidy.sourceforge.net/

"JTidy es un puerto de Java de HTML Tidy, un comprobador de sintaxis HTML y una impresora bastante igual que su no Java primo, JTidy se puede utilizar como una herramienta para limpiar HTML mal formado y defectuoso. Además, JTidy proporciona una interfaz DOM para el documento que se está procesando, lo que hace que puedas utilizar JTidy como un analizador DOM para HTML del mundo real.

JTidy fue escrito por Andy Quick, quien más tarde renunció al puesto de mantenedor. Ahora JTidy es mantenido por un grupo de voluntarios. ...

Más información sobre JTidy se puede encontrar en la página del proyecto JTidy SourceForge"

Answer 2

Si está bien formado su HTML, se puede emplear fácilmente un analizador XML que hacer el trabajo para ti ... Si solo estás leyendo, SAX sería ideal.

Answer 3

Puede que le interese TagSoup, un analizador HTML de Java capaz de manejar HTML mal formado. Los analizadores XML solo funcionarían en XHTML bien formado.

Answer 4

El proyecto HTMLParser (http://htmlparser.sourceforge.net/) podría ser una posibilidad. Parece ser bastante decente en el manejo de HTML mal formado. El siguiente fragmento debe hacer lo que necesita:

Parser parser = new Parser(htmlInput); 
CssSelectorNodeFilter cssFilter = 
    new CssSelectorNodeFilter("DIV.targetClassName"); 
NodeList nodes = parser.parse(cssFilter); 

Answer 5

El principal problema según lo declarado por anteriores comentarios es incorrecto HTML, por lo que un limpiador convertidor HTML o XML HTML es una necesidad. Una vez que obtiene el código XML (XHTML), hay muchas herramientas para manejarlo. Puede obtenerlo con un simple controlador de SAX que extrae solo los datos que necesita o cualquier método basado en árbol (DOM, JDOM, etc.) que le permita incluso modificar el código original.

Aquí hay un código de muestra que usa HTML cleaner para obtener todos los DIV que usan cierta clase e imprimen todo el contenido de texto dentro de ella. Hace

import java.io.IOException; 
import java.net.URL; 
import java.util.ArrayList; 
import java.util.Iterator; 
import java.util.List; 

import org.htmlcleaner.HtmlCleaner; 
import org.htmlcleaner.TagNode; 

/** 
* @author Fernando Miguélez Palomo <fernandoDOTmiguelezATgmailDOTcom> 
*/ 
public class TestHtmlParse 
{ 
    static final String className = "tags"; 
    static final String url = "http://www.stackoverflow.com"; 

    TagNode rootNode; 

    public TestHtmlParse(URL htmlPage) throws IOException 
    { 
     HtmlCleaner cleaner = new HtmlCleaner(); 
     rootNode = cleaner.clean(htmlPage); 
    } 

    List getDivsByClass(String CSSClassname) 
    { 
     List divList = new ArrayList(); 

     TagNode divElements[] = rootNode.getElementsByName("div", true); 
     for (int i = 0; divElements != null && i < divElements.length; i++) 
     { 
      String classType = divElements[i].getAttributeByName("class"); 
      if (classType != null && classType.equals(CSSClassname)) 
      { 
       divList.add(divElements[i]); 
      } 
     } 

     return divList; 
    } 

    public static void main(String[] args) 
    { 
     try 
     { 
      TestHtmlParse thp = new TestHtmlParse(new URL(url)); 

      List divs = thp.getDivsByClass(className); 
      System.out.println("*** Text of DIVs with class '"+className+"' at '"+url+"' ***"); 
      for (Iterator iterator = divs.iterator(); iterator.hasNext();) 
      { 
       TagNode divElement = (TagNode) iterator.next(); 
       System.out.println("Text child nodes of DIV: " + divElement.getText().toString()); 
      } 
     } 
     catch(Exception e) 
     { 
      e.printStackTrace(); 
     } 
    } 
} 

Answer 6

HtmlUnit podría ser de ayuda Se hace mucho más cosas también

http://htmlunit.sourceforge.net/1

Answer 7

Jericho: http://jericho.htmlparser.net/docs/index.html

Fácil de usar, admite HTML no bien formado, muchos ejemplos.

Answer 8

Otra biblioteca que podría ser útil para el procesamiento HTML es jsoup. Jsoup intenta limpiar HTML mal formado y permite el análisis html en Java usando jQuery como la sintaxis del selector de etiquetas.

http://jsoup.org/

Answer 9

nu.validator El proyecto es un excelente analizador de HTML y de alto rendimiento que no corta esquinas corrección se refiere.

Validator.nu HTML Parser es una implementación del algoritmo de análisis HTML5 en Java. El analizador está diseñado para funcionar como un reemplazo directo para el analizador XML en aplicaciones que ya admiten contenido XHTML 1.x con un analizador XML y usan SAX, DOM o XOM para interactuar con el analizador. La funcionalidad de bajo nivel se proporciona para aplicaciones que deseen ejecutar su propio IO y admitir document.write() con scripts. El núcleo del analizador se compila en Google Web Toolkit y se puede traducir automáticamente a C++. (El C++ capacidad de traducción se utiliza actualmente para portar el analizador para su uso en Gecko.)

Answer 10

También puede utilizar XWiki HTML Cleaner:

Se utiliza HTMLCleaner y se extiende para generar XHTML 1.1 contenido.

Answer 11

No olvidemos Jerry, su jQuery en java: una biblioteca Java rápida y concisa que simplifica el análisis, el recorrido y la manipulación de documentos HTML; incluye el uso de selectores css3.

Ejemplo:

Jerry doc = jerry(html); 
doc.$("div#jodd p.neat").css("color", "red").addClass("ohmy"); 

Ejemplo:

doc.form("#myform", new JerryFormHandler() { 
    public void onForm(Jerry form, Map<String, String[]> parameters) { 
     // process form and parameters 
    } 
}); 

Por supuesto, estos son sólo algunos ejemplos rápidos para conseguir la sensación de cómo todo se parece.