Se denominan de muchas maneras:

Araña, crawler, bot, robot, rastreador, spider….

1 ¿Qué son?crawler google

2 ¿Cómo funcionan?

3. ¿Cuál es el proceso?

4. ¿Qué es lo que tienen en cuenta?

5. ¿Cómo puedo saber qué partes de mi web rastrea?

6. ¿Puedo ordenar a Google que rastree mi página cuando yo quiera?

Da igual como le queramos llamar, es siempre lo mismo: un sofware de Google que se dedica a rastrear páginas web. Tomaremos a Google como referencia, ya que aunque otros buscadores utilizan la misma técnica, en españa más del 90% de las búsquedas se realizan desde este buscador.

1. ¿Qué son?

Un software de rastreo que trabaja ininterrumpidamente buscando información por todo internet, sin descanso, las 24 horas del día a una velocidad de vértigo.

2. ¿Cómo funcionan?

Cuando realizamos una búsqueda, ésta no se ejecuta en tiempo real, ha sido previamente realizada para tener los resultados preparados. Los crawlers recogen información de tu página y la almacenan en el servidor de Google esperando a ser “llamada”.

Lo interesante de las arañas es que se basan en un algoritmo de búsqueda, es decir, en pasos marcados basados en una estrategia lógica que consiga que las “mejores” páginas estén por encima de las “menos buenas”, y para ello, el algoritmo cambia constantemente, cada día se hacen correcciones para resolver fallos o “trampas”, cabos sueltos del algoritmo que los expertos en SEO se encargan de encontrar, aunque es una técnica arriesgada, ya que un cambio repentino que penalice tu jugada, y una página que hoy esta arriba de todo mañana puede caer en picado.

3. ¿Cuál es el proceso?

Resumiremos el proceso en 4 pasos:

1 – Cuando una página es creada, hay que “avisar” a Google, aunque dependiendo del framework (plataforma desde la que realizamos y lanzamos la página) a veces se realiza automáticamente.

2 – El robot de Google acude a la “llamada” se introduce en la página y la lee. Únicamente lee el código, independientemente de que dispongas de un bonito diseño. Una buena manera de saber qué es lo que Google se “lleva” de tu web es presionando el botón derecho sobre tu página y hacer click en “Ver código fuente”. Ahí se abrirá una ventana nueva donde podrás ver la página de la misma manera que lo ven los crawlers.

3 – El robot se lleva todos los datos recaudados de la web, los comprime y se los lleva al servidor de Google.

4 – Los datos se quedan en el servidor hasta que alguien realice una búsqueda en Google.

araña google

4. ¿Qué es lo que tienen en cuenta?

Cuando la araña entra en tu página, analiza el código y sobre todo los links que hay en tu página, como se redirigen entre ellas, y de esta forma tienen la estructura de la web. Si tu contenido está bien estructurado una sola araña podría analizar completamente tu página. Es importante que hagas un mapa de enlaces en un folio y lo analices para que tu página sea clara y ordenada.

También les encanta el contenido nuevo, original y de calidad, y que esté a la orden del día, que esté actualizado. Es por ello que contar con un  blog en tu web es de vital importancia.

Para que los robots lleguen a tu web deben saber de qué trata, cual es el contenido fundamental, y ahí es donde actúan las palabras clave o keywords. Determinarán que una búsqueda acabe o no en tu página, es la manera de indicarle a Google las palabras con las que quieres que te encuentren cuando un usuario las indroduzca en Google.

Otro factor fundamental es la autoridad de la página, es decir, la manera de convencer a Google de que tu página es de calidad, y eso se le demuestra cuando otras páginas que no son la tuya tienen enlaces que dirigen directamente hacia cualquiera de las páginas de tu dominio. Ya sean medios de comunicación u otros blogs, tener otras páginas que te redirijan es fundamental, y cuanto mayor sea el prestigio de éstas, más beneficioso será para ti.

También hay otros factores fundamentales para el SEO, pero no dependen de las arañas, como por ejemplo la experiencia de usuario. ¿Y cómo obtiene Google los datos de experiencia de usuario? Muy sencillo, por las plataformas de Google en las que nos registramos para analizar nuestra página, como Google Analytics.

 

5. ¿Cómo puedo saber qué partes de mi web rastrea?

Tú eres el que decide qué es lo que quieres que Google lea de su página.

¿Cómo? A través del sitemap. Un sitemap no es más que un mapa donde están todas las páginas internas de tu web, incluyendo poststags, categorías…

¿Dónde puedes encontrarlo? En el panel de control de tu servidor. Entras en el panel de control, luego en administrador de archivos, y la encontrarás en la carpeta principal de tu página. O si tienes tu web conectada con Google Analytics o Yoast SEO podrás ver desde aquí el archivo.

Pero no es en el mapa donde le dices qué páginas puede leer y cuales no, sino en el archivo ROBOTS.TXT situado en la carpeta principal de tu web situado también el tu panel de control > administrador de archivos. 

Dentro podemos poner Allow o Disallow según lo que queramos que lea o no, como puedes ver en la foto:

(en este ejemplo, se le dice a Google que no entre en wp-admin, wp-includes y que no mire los plugins, pero sin embargo que si que tiene que analizar el wp-content).

6. ¿Puedo ordenar a Google que rastree mi página cuando yo quiera?

Claro que si, y viene bien cuando hacemos grandes cambios en la página. Esto lo haremos desde Google Search Console. Donde tendrás que crear una cuenta con tu página web. Ahí tendrás a la izquierda múltiples opciones como son:

PROBADOR DE ROBOTS.TXT: donde podrás anlizar si tu archivo tiene algún fallo a ojos de Google.

SITEMAPS: Podrás ver las páginas que enviaste a Google y una gráfica con el estado de indexación.

EXPLORAR COMO GOOGLE: ES AQUÍ DONDE PUEDES ORDENAR A GOOGLE QUE RASTREE TU PÁGINA. Introduces la dirección de tu web, selecciones si quiere que la analice desde un dispositivo móvil u ordenador y presiones sobre obtener y procesar, y cuando termine de procesar pulsas sobre “solicitar indexación” y ya está, Google te pondrá como prioridad para que proximamente los crawlers pasen por tu página.

Un dato extra que os puede ser de utilidad es el siguiente, en el panel de Search Console, en “estadísticas de rastreo” aparecen 3 gráficas. Tanto la de “páginas rastreadas al día” como la de “kylobites descargados al día” simbolizan la importancia que Google otorga a vuestra web.

Si la gráfica es ascendente, significa que tu página está cogiendo relevancia. Mientras que si es descendente, deberías plantearte hacer algunos cambios, averiguar donde está el problema y resolverlo.

search console estadistica

Esperamos que te haya servido de ayuda para entender este pequeño robot que tanto domina los negocios modernos.