Qué es el crawl budget o presupuesto de rastreo y cómo optimizarlo

¿Sabes cómo optimizar el presupuesto de rastreo de tu web o crawl budget? En este post te lo voy a explicar al detalle. Así que siéntate y lee con atención.

Para poder explicar cómo puedes optimizar el presupuesto de rastreo de tu web, primero debes entender cómo funciona un buscador. Los buscadores envían crawlers o «arañas» a rastrear tu web. Gracias a esto, saben qué URLs tienes, de que trata cada URL, etc. Y una vez rastreada tu web la indexan.

Otra de las cosas que te tengo que explicar antes de nada es qué es el presupuesto de rastreo o crawl budget. Aunque haya gente que piense que el crawl budget es una invención de los SEO, el propio Google tiene una guía de como gestionarlo que te dejo aquí. Tal y como indican en esta guía, internet es casi infinito y para poder rastrear todas las webs que existen en la red los buscadores tienen que limitar el tiempo que dedican a cada una de ellas. Ese tiempo es lo que se denomina presupuesto de rastreo.

¿Cómo determina Google cuánto tiempo debe dedicar al rastreo de mi web?

Según explican en la guía que te he enlazado anteriormente, depende de dos cosas principalmente, del límite de capacidad de rastreo por parte de tu servidor y de la demanda de rastreo.

Límite de capacidad de rastreo

Según Google el límite de la capacidad de rastreo puede aumentar o disminuir en función de los siguientes factores:

• Estado del rastreo: Aquí entra el juego el WPO. Viene a decir que si la web responde rápido se le enviarán más crawlers para rastrear y podrá rastrear más páginas y si por el contrario va lenta y da errores de servidor se le reducirá el presupuesto.
• Límite fijado por el propietario del sitio web en Search Console: Por si no lo sabías, en Google Search Console se puede limitar el rastreo por parte de Google. No sé quién en su sano juicio lo hará…
• Límites de rastreos de Google: Google tiene muchos ordenadores, pero no infinitos, así que debe decidir cómo distribuirlos.

Demanda de rastreo

Estos son los factores que influyen principalmente en la demanda de rastreo:

• Inventario detectado: Google tenderá a rastrear toda la web a no ser que le digas lo contrario. Por lo que si hay cosas que no quieres que sean rastreadas, lo mejor es que lo indiques en el robots.txt.
• Popularidad: las páginas con más visitas son las que más rastrean para asegurarse que están siempre actualizadas.
• Falta de actualización: Google quiere ver cambios en los contenidos y contenidos nuevos. Si no hay actualizaciones en la web, poco a poco irá bajando el presupuesto de rastreo. (Ahora que me vengan con el cuento de que no es necesario hacer más contenidos…)

Cómo podemos optimizar el presupuesto de rastreo

Pues con lo que hemos explicado en el punto anterior, prácticamente ya tenemos las pistas para saber qué tenemos que hacer. Así todo, veamos algunas optimizaciones que os recomendamos.

Trabajar el WPO

El WPO (web performance optimization u optimización del rendimiento de una web) tiene que ver con la velocidad de carga de la misma. Cuanto más rápido cargue la web, mejor. Siempre hemos dicho que la velocidad web es un factor de posicionamiento ya que influye en la experiencia de usuario. Hace unos meses Google se inventó el Page Experience, en el que además de la velocidad de carga ha añadido algunos otros factores que él determina que influyen en la experiencia de usuario. Pero resulta, que también mejora la experiencia de los robots.

Si quieres más información, aquí te dejo un enlace al post de cómo mejorar la velocidad de carga de una web.

Accesibilidad

Este es un elemento destacado si quieres mejorar el rastreo de tu página web, ya que debes facilitar el camino a los motores de búsqueda. Es necesario que compruebes si tu contenido es realmente visible. Asegúrate que no estés bloqueando a los robots de búsqueda.

En principio deberías de poner un disallow en tu robots.txt a todas las partes de la web que no quieras que los bots de los buscadores entren. Así todo, si no tienes una web de más de 10.000 URLs (en el caso que publiques o cambies contenido diariamente) o de un millón de URLs (en caso que cambies el contenido periódicamente), no deberías preocuparte. Google va a tener tiempo de sobra para rastrear hasta el último archivo de tu web.

Así todo, si lo que quieres es que te diga en qué partes de tu web debes hacer un disallow, te diré que uses la lógica. ¿Tiene sentido que Google rastree tu página de acceso al panel de control?¿existen carpetas en tu servidor que no tengan que ver con la web?¿creas los prediseños de las webs de clientes en subdirectorios de tu web antes de migrarlas a su servidor?¿Existen páginas de tu web que no sean importantes o no aporten nada al usuario?

Contenido

Actualiza de vez en cuando el contenido de tus páginas de servicios, crea un blog y publica post periódicamente. Eso sí, el contenido debe ser relevante y útil para el lector.

Algunas recomendaciones extra

Para terminar de optimizar el rastreo de tu página web puedes aplicar las siguientes acciones:

• Es necesario eliminar las páginas huérfanas, es decir, aquellas que no cuentan con un enlace entrante o crea enlaces hacia esas páginas.
• Utilizar las migas de pan en toda la página web. Son marcas o guías de navegación que ayudan a los visitantes y a los robots a comprender la estructura de una web.
• Reorganiza los contenidos y elimina los textos innecesarios.

Si aplicas cada una de estas recomendaciones en los aspectos descritos podrás optimizar el crawl budget de tu página web de manera más rápida y efectiva. De esta manera, los bots de Google no perderán tiempo en páginas poco relevantes.

¿Se te ocurren más acciones con las que poder optimizar el presupuesto de rastreo de tu web? Cuéntanoslas, somos todo oídos.

Y recuerda, si necesitas ayuda con el posicionamiento web no dudes en contactarnos.