cómo ocultar completamente el sitio web de los motores de búsqueda?

Question

¿Cuál es la mejor manera recomendada de ocultar mi sitio web de búsqueda de los motores de búsqueda, busqué en Google y encontré que algunos dicen que debería poner una metaetiqueta, y algunos dijeron que debería poner un archivo de texto dentro del directorio de mi sitio web, quiero saber forma estándar.

mi sitio web actual está en asp.net, aunque creo que debe ser una forma común para cualquier sitio web sea cual sea su lenguaje de programación.

Answer 1

Utilice un archivo robots.txt.

ver aquí http://www.robotstxt.org/robotstxt.html

Answer 2

http://www.robotstxt.org/robotstxt.html

Answer 3

También es posible usar sus servidores robots.txt: rastreador

User-agent: * 
Disallow:/

de Google realmente respeta estos ajustes.

Answer 4

Hay motores de búsqueda/servicios que marca el libro que no utilizan robots.txt. Si realmente no quieres que aparezca nunca, te sugiero usar capcha solo para navegar al sitio.

Answer 5

Respuesta realmente fácil; contraseña protegerlo. Si se trata de un sitio intermedio, lo más probable es que no esté destinado a ser público (lo más probable es que sea público). Tratar de mantenerlo fuera de los motores de búsqueda solo está tratando un síntoma cuando el problema real es que no lo ha asegurado adecuadamente.

Answer 6

Tenga en cuenta que no puede ocultar un sitio web desprotegido de cara al público desde un motor de búsqueda. Puedes pedirle a los bots que no lo indexen (a través del robots.txt que mis excelentes colegas han mencionado), y las personas que escriben los bots pueden elegir no indexar tu sitio basado en eso, pero tiene que haber al menos un tipo por ahí que está indexando todas las cosas que la gente le pide que no indexe. Por lo menos uno.

Si se trata de un requisito importante, al mantener rastreadores automáticos fuera de servicio, algún tipo de solución CAPCHA podría funcionar para usted.

Answer 7

Cuál es la mejor forma recomendada yo ocultar mi página web puesta en escena de los motores de búsqueda

simple: no hacerlo público. Si eso no funciona, solo hágalo público el tiempo suficiente para validar que esté listo para publicar en vivo y luego eliminarlo.

Sin embargo, todo lo dicho, una pregunta más fundamental es, "¿Por qué preocuparse?". Si el sitio de ensayo se supone que es el sitio en vivo un paso antes de lanzarlo en vivo, entonces no debería importar si está indexado.