Las arañas de Google rastrean nuestro sitio para ver que nuevos contenidos tenemos como nuevas paginas y demás partes de la web, pero para esto utiliza los enlaces que tengamos en nuestra web, para llegar ellas, por lo que deberemos enlazar todas las partes de nuestra web, o por lo menos, las partes que queremos que sean rastreadas.

Cual es la ventaja de que google rastre nuestras paginas, pues muy simple que así aparecan en los resultados de Google, ya dependiendo de la posición en la que estén, el primer paso sera aparecer.

Para lograr esto tenemos que enlazar las partes mas importantes de nuestra web desde la portada, haciendo unos menú en html que funcionen correctamente, hay que evitar a toda costa enlaces en flash o java, ya que Google no podrá rastrear dichos enlaces y no serán indexadas. Para las partes menos importantes podemos enlazalas desde algún apartado de nuestra web, pero buscando siempre que no sean mas de 3 click, ya que sino sera demasiado y nos arriesgamos a que no sean indexadas.

Para mejorar nuestro posicionamiento y que a Google no se le olvide ninguna de nuestros apartados, es muy interesante crear como una especia de mapa del tesoro, donde indicaremos el camino a seguir para que las arañas no se pierdas en nuestra web. Para hacer esto se utiliza un tipo de archivo .xml donde van indicadas todas las instrucciones, podemos hacerlo a mano pero existen una gran infinidad de herramientas que hacen este trabajo por nosotros ,por lo que no nos vamos a parar en aprender este lenguaje. 

Para hacer esto solo debemos buscar en google, generar sitemap.xml, que es como debe llamarse el archivo y nos aparecerán varias herramientas web que con unos simple click y la dirección de nuestra web, nos dará dicho sitemap el cual solo nos quedara subirlo a la raíz de nuestro sitio, es decir, donde se encuentra nuestra web.

Cuando estamos con el posicionamiento web de nuestra pagina, debemos saber que no todos los apartados son interesantes para nuestro publico, o están aun sin terminar, etc. Por esto debemos crear un archivo que no deje pasar al robot de google a estos apartados, o por ejemplo también, la zona de acceso de los clientes. Este archivo sera siempre revisado por las arañas de Google y se apuntaran las instrucciones que allí hay, por eso Google no indexara ni rastreara aquellas zonas donde no queremos que entre.

Para hacer esto solo debemos crear un archivo .txt, es decir un archivo de texto simple, y llamarlo robots.txt, una vez terminado tenemos  que agregar una serie de funciones para denegar el acceso a las partes que no queremos, pero atento, que este archivo funciona así, listaremos los apartados donde no queremos que entre, ya que todo lo demás que no este ahi listado sera permitido por las arañas.