Protección del contenido del sitio web de los rastreadores

Question

Los contenidos de un sitio web de comercio (ASP.NET MVC) son rastreados regularmente por la competencia. Estas personas son programadores y utilizan métodos sofisticados para rastrear el sitio, por lo que no es posible identificarlos por IP. Desafortunadamente, la sustitución de valores por imágenes no es una opción, ya que el sitio debe seguir siendo legible para lectores de pantalla (JAWS).

Mi idea personal está usando robots.txt: prohibir el acceso a los rastreadores de una URL normal en la página (esto podría ser disfrazada como un enlace normal detalle del artículo, pero oculta a los usuarios normales URL válido: http://example.com?itemId=1234 Prohibida: http://example.com?itemId=123 bajo 128) . Si un propietario de IP ingresó al enlace prohibido, se mostrará una validación de CAPTCHA. Un usuario normal nunca seguiría un enlace como este porque no está visible, Google no tiene que rastrearlo porque es falso. El problema con esto es que el lector de pantalla aún lee el enlace y no creo que esto sea tan efectivo como para que valga la pena implementarlo.

Answer 1

Su idea podría funcionar para algunos rastreadores básicos, pero sería muy fácil de evitar. Solo necesitarían usar un proxy y obtener un enlace en cada enlace desde una nueva IP.

Si permite el acceso anónimo a su sitio web, nunca podrá proteger completamente sus datos. Incluso si logras evitar a los rastreadores con mucho tiempo y esfuerzo, pueden conseguir que un humano explore y capture el contenido con algo parecido a un violinista. La mejor manera de evitar que sus datos sean vistos por sus competidores sería no incluirlos en una parte pública de su sitio web.

Obligar a los usuarios a iniciar sesión puede ser de ayuda, al menos entonces podría elegir quién está rastreando su sitio y prohibirlo.

Answer 2

Estoy a punto de llegar a la fase de protección de mi contenido de los rastreadores.

Estoy pensando en limitar lo que un usuario anónimo puede ver en el sitio web y solicitar que se registren para una funcionalidad completa.

ejemplo:

public ActionResult Index() 
{ 
    if(Page.User.Identity.IsAuthorized) 
     return RedirectToAction("IndexAll"); 

    // show only some poor content 
} 

[Authorize(Roles="Users")] 
public ActionResult IndexAll() 
{ 
    // Show everything 
} 

Puesto que usted sabe ahora los usuarios, se puede castigar a cualquier rastreador.

Answer 3

Como se mencionó, no será realmente posible ocultar los datos públicamente accesibles de un usuario determinado, sin embargo, como estos son rastreadores automáticos, podría hacerles la vida más difícil al alterar el diseño de su página con regularidad.

Probablemente sea posible utilizar diferentes páginas maestras para producir los mismos diseños (o similares), y podría cambiar la página maestra de forma aleatoria, esto dificultaría la escritura de un rastreador automático.