Blog de Harry Gonzales

Blog sobre Posicionamiento, Marketing, Tecnología y Desarrollo web.

Yahoo! Slurp: Soporte de caracteres comodin en robots.txt

Posted by Harry Gonzales en Viernes, noviembre 3, 2006

El web crawler de Yahoo! (Yahoo! Slurp), ahora permite el uso de los caracteres comodín: “*” y “$” en el fichero robots.txt, asi lo anuncia el blog oficial de Yahoo.

Es preciso recordar que el fichero robots.txt se utiliza para decirle a los buscadores cual debe ser su comportamiento al visitar una web, es decir, que archivos debe indexar y cuales no.

Uso de los caracteres comodin para Yahoo! Slurp

“*” – reemplaza una secuencia de caracteres

Ejemplo:

User-Agent: Yahoo! Slurp
Allow: /publico*/
Disallow: /*_print*.html
Disallow: /*?sessionid

En este ejemplo le indicamos al buscador:

  • que revise los directorios que comienzan con “public”, como “publico_imagenes” o “publico_videos”
  • que no indexe los archivos o directorios que contienen la cadena de texto “_print”, como “foto_print.html”
  • que no indexe archivos que tengan “?sessionid” en su URL.

“$” – indica el final de una cadena URL

Ejemplo:

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

Le indicamos al buscador:

  • que no indexe los archivos que terminan en “.gif”. Sin el caracter “$”, esta misma instrucción deshabilitaría todos los ficheros que contengan “.gif”
  • permitir que sean incluidos en el índice, todos los archivos que terminan en “?”

Este nuevo soporte es muy útil, esperamos que otros buscadores también lo incluyan en sus Crawlers.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

 
A %d blogueros les gusta esto: