¡No te pierdas nuestro canal en Youtube!

Nuestras otras creaciones:
La-biblioteca.com | Cineactual.es | Mundofriki.es


GOOGLEBOT: Definición, qué es lo que busca, robots.txt y más  GOOGLEBOT: Definición, qué es lo que busca, robots.txt y más

Valoración de éste post
4.43 / 5 de 364 votos



Mensajes: 951


Puntos totales:

Enhorabuena!

34




Todos los sitios web del mundo son rastreados por Googlebot, que se encarga de analizarlos para establecer una clasificación relevante en los resultados de búsqueda. En este post, veremos las diferentes acciones de Googlebot, sus expectativas y los medios disponibles para optimizar su exploración de su sitio web.

¿Qué es Googlebot?:

Googlebot es un robot virtual, desarrollado por los ingenieros de las oficinas del gigante de Mountain View. Este pequeño "Wall-E de la web" recorre rápidamente los sitios web antes de indexar algunas de sus páginas.

Este programa informático busca y lee el contenido de los sitios web, y modifica su índice en función de las novedades que encuentra. El índice, en el que se almacenan los resultados de las búsquedas, es una especie de cerebro de Google. Aquí es donde se aloja todo su conocimiento.

Google utiliza miles de pequeños ordenadores para enviar sus rastreadores a todos los rincones de la web para encontrar páginas, para ver qué hay en ellas. Hay varios robots diferentes, cada uno con un propósito bien definido.

Por ejemplo, AdSense y AdsBot se encargan de comprobar la relevancia de los anuncios de pago, mientras que Android Mobile Apps comprueba las aplicaciones de Android. También hay un Googlebot de imágenes, de noticias, etc.

¿Cómo funciona Googlebot y qué busca?:

Googlebot es completamente autónomo, nadie lo "pilota" realmente una vez que está en marcha. El robot utiliza los mapas de sitio y los enlaces descubiertos en búsquedas anteriores. Siempre que el rastreador encuentre nuevos enlaces en un sitio web, los seguirá para visitar las páginas de destino y los añadirá a su índice si son de interés.

Asimismo, si Googlebot encuentra enlaces rotos o modificados, los tendrá en cuenta y actualizará su índice. El propio Googlebot determina la frecuencia con la que rastreará las páginas. Asigna un "presupuesto de rastreo" a cada sitio web.

Por lo tanto, es normal que un sitio web de cien o mil páginas no sea rastreado o indexado en su totalidad. Para facilitar el trabajo de Googlebot y garantizar que el sitio web se indexe correctamente, hay que comprobar que ningún factor bloquee el rastreo o lo ralentice (un comando erróneo en el archivo robots.txt, por ejemplo).

Los comandos de robots.txt:

El robots.txt es en cierto modo la hoja de ruta de Googlebot. Es lo primero que rastrea para poder seguir sus indicaciones. En el archivo robots.txt, es posible restringir el acceso de Googlebot a determinadas partes de un sitio web.

Este sistema se utiliza a menudo en las estrategias de optimización del presupuesto de rastreo. Se puede acceder al archivo robots.txt de cada sitio web añadiendo /robots.txt al final de la URL.

Con él, un sitio web puede...

[...] Ve el contenido completo en el video

Ver vídeo https://www.youtube.com/watch?v=TNTffzns7HM en Youtube | http://www.exaforo.com
Dale al botón del play para ver el vídeo https://www.youtube.com/watch?v=TNTffzns7HM  en YouTube




No te pierdas el tema anterior: GOOGLE SEARCH CONSOLE: Definición, ventajas y desventajas

Salta al siguiente tema: GTmetrix vs PageSpeed Insights vs Pingdom Tools vs Web...

Quizás también te interese:

Volver a SEO