Please enable / Por favor activa JavaScript!
Por favor activa el Javascript![ ? ]
Hosting de calidad y barato para tu tienda online:

Hosting SSD Prestashop

Este post con código 59, con web https://www.exabyteinformatica.com/tienda/foro/robots-txt-que-es-y-como-configurarlo-t59.html y con una longitud de 93 caracteres, se ha verificado completamente. dentro de cada sección del foro, encontrarás mushrooms rojos y verdes. ¿Has jugado a Mario World? Si es que no sigue leyendo: cada seta roja te hace crecer intelectualmente (los temas o posts) y cada seta verde (foros y subforos) te descubre una nueva aptitud.Para poder comentar en este foro o en el resto de exaforo, el paso previo para poder comentar es registrarte,no te preocupes es y ha sido GRATIS desde el inicio.

Deberás haber leído y aceptado eso sí, las Normas generales del foro. Respeta a los demás para que los demás te respeten a ti, no lo decimos nosotros, es una lección de vida. Por favor, se respetuoso con los demás miembros del foro. De detectar alguna actividad sospechosa y si trasciende a más, tu cuenta puede ser dada de baja definitivamente de nuestro sistema.

En exaforo valoramos por encima de todo las opiniones personales de las personas que lo forman, es por esto que te pediremos que por favor, lo que nos escribas no sea un plagio de otra web o de otro miembro; si nuestro sistema anti-spam detecta que tu contenido no és único, el sistema puede borrarlo automáticamente sin avisar.

Para concluir, te deseamos un muy provechoso aprendizaje y seguro que estaremos encantados con tus aportaciones. No olvides presentarte a la comunidad si aún no te has registrado.

¡Agradecidos de tenerte con nosotr@s y esperamos leerte pronto!

Datos internos informativos (No hagas caso de estos datos, son para los administradores de Exaforo)

Fecha y hora de carga de esta página: 24/112017 a las 19:15:15
Memória total usada: 7490064

¿Y el logo de Paypal? ¿Exaforo no era sin ánimo de lucro? Y así es, para poder usar Exaforo nadie cobra nada, fíjate bien que el botón de Paypal es el de donaciones. Mantener la web en un servidor encendido 24 horas, contratar la conexión a internet de alta velocidad para que goces de peticiones rápidas, pagar los certificados SSL,…es decir, los costes de mantenimiento.

Nuestros pocos fondos van destinados a mantener siempre en marcha los sistemas y cuando adquirimos equipos nuevos, los viejos solemos donarlos a escuelas y centros educativos que tienen pocos recursos para adquirir equipos informáticos. Por eso tus donaciones son muy importantes ya que no solo nos ayudan a nosotros sino también a niños en edad escolar, al profesorado y a los centros educativos en general. En exaforo creemos en la formación libre y que sea accesible a todo el mundo. Si crees poder ayudarnos haciendo una donación para que sigamos creciendo como hemos ido haciendo desde 2003, te estaremos muy agradecidos, el importe de la donación lo pones tú, nosotros no pedimos una cantidad fija, piensa que puedes donar hasta mínimo 1 céntimo. Dones o no dones, muchas gracias por habernos leído hasta el final. Más abajo tienes el botón de “Donar con Paypal” (no hace falta que des tu número de la tarjeta, el botón te dirige a la página oficial de Paypal y desde su formulario puedes hacer la donación desde tu cuenta Paypal).

Robots.txt: Qué es y como configurarlo  Robots.txt: Qué es y como configurarlo

Valoración de éste post
4.62 / 5 de 645 votos



Mensajes: 976


Puntos totales:

Enhorabuena!

32





El contenido de este artículo o información está sujeto a una licencia Creative Commons BY (CC-BY), puedes divulgar públicamente este contenido pero deberás hacer mención del autor: Kernel e indicar la dirección web de esta página: https://www.exabyteinformatica.com/tienda/foro/robots-txt-que-es-y-como-configurarlo-t59.html

The content of this article or any related information is under the Creative Commons license BY, you can republish this content freely but you must mention the author of this article: Kernel and indicate the URL of this page: https://www.exabyteinformatica.com/tienda/foro/robots-txt-que-es-y-como-configurarlo-t59.html

Bajo licencia de Creative Commons


El archivo robots.txt consiste en toda una serie de recomendaciones y reglas que todos los robots de los buscadores deberán cumplir.

En este post veremos cómo crear este archivo y como parametrizarlo. El archivo robots.txt consiste básicamente en un archivo de texo que informa de las reglas que deberán seguir los crawlers o robots de los diferentes buscadores.

Definamos brevemente que es un crawler o un robot: se trata de un rastreador que rastrea todas las secciones de una página web para buscar en indexar el mayor número de información sobre ella para posteriormente añadirla a los índices de los buscadores o resultados de búsqueda. A los crawlers habitualmente se les llama arañas, spiders o robots. Si tomamos como ejemplo el rastreador de Google, este se llama Googlebot.

Estableciendo una adecuada parametrización de nuestro archivo robots.txt, podemos lograr una serie de acciones positivas hacia nuestro site como pueden ser impedir la indexación de ciertos lugares dentro de nuestra web, reducción de la sobrecarga del servidor: se puede monitorizar el tráfico de algunos crawlers.

Hay algunos crawlers que la verdad van como locos en la indexación y nos pueden llegar a sobrecargar nuestro server. Podemos también restringir las zonas de acceso a la indexación o sólo permitir acceso en aquellas zonas donde nos interese. Podemos también mitigar el contenido duplicado: algo que muchas veces no tienen en cuenta los webmasters, al eliminar el contenido duplicado los crawlers puntuarán con más nota nuestro dominio incrementando así el número y tránsito de visitas.

También podemos identificar los mapas del dominio (sitemaps.xml): podemos definir dentro del archivo robots.txt donde está ubicado el sitemap de nuestro site, etcétera.

Veamos ahora como creamos este archivo de texto robots.txt

La elaboración de nuestro archivo robots.txt es relativamente sencilla. Tomaremos a modo de ejemplo el siguiente caso dónde permitiremos la entrada de los spiders y el bloqueo a ciertas zonas del site.

Empecemos creando el archivo de texto robots.txt:

User-agent: *
Disallow: /zona_de_admin


Aquí estamos diciendo que todos los crawlers (User-agent: *) no tienen accesos a la carpeta /zona_de_admin. Esto significa que no se indexará nada de esta carpeta en los resultados de búsqueda.

Hay veces que los webmasters usan en vez de Disallow: /ruta el Allow: /ruta para indicar justamente lo contrario, aunque técnicamente es correcto, no hace falta usar el allow ya que por defecto los crawlers indexan todo excepto lo que les indiquemos con el Disallow.

También podemos indicar varios Disallow: /ruta en el archivo robots.txt, tantos como tantas zonas nos interese no indexar.

Si aplicas correctamente estas normas, verás que a ojos de Google estarás quedando muy bien ya que sólo le estás indicando el contenido que realmente quieres indexar.

Otro parámetro interesante es si queremos definir la frecuencia de rastreo. Podemos indicar cada cuanto tiempo queremos que los crawlers rastreen mediante:

User-agent: * Crawl-delay: 60


Con esta parametrización, le indicamos al robots.txt que se mantenga en espera 60 segundos entre un y otro acceso. Cabe decir que el crawl-delay no todos los spiders lo entienden y nos podemos encontrar que los periodos de indexación varíen.

Otra función interesante es incluir la ruta de nuestro Sitemap.xml: es importante que los crawlers sepan dónde se encuentra el mapa del sitio para que puedan rastrear nuestra web al completo. Para indicar el sitemap de nuestro sitio web usaremos:

 Sitemap: http://www.nuestra_web.ext/sitemap.xml


Normalmente nuestro Sitemap.xml lo ubicaremos en la raíz del dominio.

Como detalle final, os dejo un vídeo de Matt Cutts dónde nos habla de si podemos utilizar el robots.txt para optimizar el crawl o spider de Google:

Ver vídeo https://www.youtube.com/watch?v=I2giR-WKUfY en Youtube | http://www.exaforo.com
Dale al botón del play para ver el vídeo https://www.youtube.com/watch?v=I2giR-WKUfY  en YouTube




No te pierdas el tema anterior: Qué es y como salir del efecto Sandbox

Salta al siguiente tema: Sitemap.xml: Qué son los sitemaps y como crearlos

Quizás también te interese:
Si has encontrado información útil en Exaforo, ayúdanos a seguir creciendo. Muchas gracias por confiar en nosotros!


Volver a Posicionamiento