El problema con Disqus es que usa JavaScript para generar comentarios, por lo que cuando los robots llegan a su sitio, no encuentran los comentarios. Incluso si usa el índice "#!" Las URL aún no son su página, por lo tanto, no son aplicables aquí.
Tienen una API REST que puede usar. Mi idea aquí es traer todos los comentarios de API por código y escribirlos en HTML dentro de un contenedor y luego esconder este contenedor a través de JavaScript (no CSS, ya que no estoy seguro de si los robots odiarán eso, pero JS no es capaz de descubrir) .
Entonces todavía tendría el widget Disqus JS, porque la API no me brindará todas las características agradables que tiene el uso directo de Disqus. Cuando un usuario agrega un enlace, no se agrega al HTML oculto hasta que la página se actualiza, pero a quién le importa, está oculto de todos modos, Disqus actualizará su JavaScript y los comentarios estarán visibles.
La desventaja es que el usuario ahora está descargando los comentarios dos veces. También puede resolver esto haciendo algunas comprobaciones para solicitar una cadena de agente de usuario o lo que sea para decir si la página es solicitada por robot o no, y mostrar los comentarios de la API en HTML solo en este caso (y entonces ni siquiera importa esconderlo).
Por supuesto, existe una relación de compromiso entre el tiempo de implementación de esto y lo efectivo que puede ser, pero al menos es alcanzable.
...
P.S. También escuché que los complementos de WordPress y Drupal también procesan HTML además de JS. Entonces, si desarrolla sitios web semidinámicos o CMS sobre alguno de ellos, ya puede obtenerlos. Ver Getting Disqus html code to show in source for SEO purposes.
Este enfoque también se sugiere en la documentación oficial: http://docs.disqus.com/help/58/ – jbochi