Bienvenida a los Spiders (Arañas de la red)
Se ha
llamado así a los sistemas automáticos que poseen loa principales
motores de búsqueda, para buscar en la red que hay de nuevo y que ha
cambiado.
Esto "spiders" o "robots"
visitan un sitio, revisan y eventualmente incluyen en su directorio
algunas o todas las nuevas páginas encontradas. Para hacer esto, los
sistemas deben conocer sobre la existencia de un sitio, de manera que es
muy importante enviar periódicamente el URL raíz a todos los motores
importantes. Por lo menos hasta ser incluido en ellos y en todo caso no
mas de una vez al mes.
Esta visita también puede
ser iniciada por un link desde un sitio ya establecido. Hay que tener
cuidado de tener enlaces sólo de sitios de buena reputación, de lo
contrario puede resultar muy dañino.
Es necesario enseñar al
sitio a ser "amable" durante la visita de los spiders. Un "robot.txt"
con un adecuado formato es una buena bienvenida. Códigos limpios,
páginas ligeras y enlaces internos sin errores facilitarán la indexación
del sitio.
Otra importante pieza
para describir al sitio es una página llamada "sitemap". Su
elaboración requiere muy poco esfuerzo y su contenido podrá ser leído
tanto por humanos como por robots.
Páginas diferentes, deben
tener contenidos diferentes. Es necesario evitar que una o mas páginas
parezcan copias de otras. E lugar de eso, conviene especializar cada
página en algún aspecto del tema del sitio. Seleccionar para cada página
un grupo apropiado de palabras clave (keywords).
Es bueno identificar en
los registros las visitas de los spiders y hacerles un seguimiento. Una
vez que un spider acepte y considere amigable a un sitio, podemos
olvidarnos de este robot en particular, ya que a menos que cometamos
algún error imperdonable, este repetirá periódicamente sus visitas.
Un buen lugar para
empezar a entender las preferencias de los motores, es la sección de
Google dedicada a los webmasters (Google webmasters guidelines). Lo mas
importante en todo caso, es entender que es lo que no les gusta a estos
sistemas.
El uso de keywords
