Html Agility Pack: Buscar Nodo de comentario

Question

Estoy raspando un sitio web que usa Javascript para poblar dinámicamente el contenido de un sitio web con el paquete Html Agility.

Básicamente, estaba buscando el XPATH "\\div[@class='PricingInfo']", pero ese nodo div se escribía en el DOM a través de Javascript.

Por lo tanto, cuando cargo la página a través del paquete Html Agility, no se encuentran las XPATH mencionadas anteriormente.

Resulta que hay un comentario antes de un bloque de script en particular que quiero analizar.

<!--Module 328 Buying Options Table--> 
<script type="text/javascript" language="JavaScript"> 
    var data = { 
     price: 30.00 
    } 
</script> 

Para este sitio, hay muchos bloques de script y por lo que habría que limitar la búsqueda por el hallazgo de este comentario autogenerado <!--Module 328 Buying Options Table--> y el hermano de ese nodo sería el bloque de script correcto.

¿Alguna idea sobre cómo puedo buscar un comentario en particular y luego simplemente obtener el bloque de secuencia de comandos adyacente?

¡Gracias!

Answer 1

htmlDoc.DocumentNode.SelectSingleNode("//comment()[contains(., 'Buying Options')]/following-sibling::script")