Calificación:
  • 0 voto(s) - 0 Media
  • 1
  • 2
  • 3
  • 4
  • 5
Robots.txt : Todo lo que deberias saber
#1
El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan (¡ojo! recomendaciones, no obligaciones). Pero comencemos por el principio.
Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.
[Imagen: crawler-spider.jpg]
Por ejemplo, Googlebot es el nombre del crawler del buscador Google. También existen otros como:
  • Mediapartners-Google, que es el crawler que se encarga de revisar los anuncios de Google Adsense.
  • Googlebot-Image, robot indexador de imagenes del buscador de Google.
  • Bingbot, crawler de indexación del buscador Bing
  • Slurp, crawler de indexación del antiguo buscador Yahoo!
  • Scooter, del clásico buscador Altavista.
Y muchísimos más. Si establecemos un control en nuestro robots.txt, podremos conseguir una serie de beneficios:
[Imagen: robots-txt.png]
  • Impedir acceso a robots determinados: Puede parecer contradictorio, pero algunos crawlers no nos proporcionarán sino problemas. Algunos robots no son de buscadores, e incluso algunos robots no son ni amigos. Pero de eso ya hablaremos más tarde.
  • Reducir la sobrecarga del servidor: Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
  • Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
  • Eliminar contenido duplicado: Uno de los casos más importantes, que casi siempre es olvidado por los webmasters. Si eliminamos la duplicidad de contenido, los buscadores nos puntuaran muy alto, aumentando el flujo de visitas.
  • Fijar mapas del sitio: También es posible acoplar un sitemap para indicar el buen camino a los robots.
Creación del fichero robots.txt
¿Y entonces, que hay que hacer? Es muy sencillo.
Sólo tenemos que crear un fichero de texto robots.txt y comenzar a escribir en él. Partiré del siguiente ejemplo donde permitimos la entrada a todos los crawlers (igual que sin ningún robots.txt):
User-agent: *
Disallow: 

En User-agent debemos introducir el nombre del robot, y a continuación las rutas donde queremos prohibir que acceda. Algunos ejemplos:
  • Disallow: / prohibe la entrada a todo el sitio.
  • Disallow: /foro/ prohibe la entrada a los documentos del directorio foro.
  • Disallow: permite la entrada a todo el sitio.
En algunos casos suele utilizarse en lugar de Disallow, la palabra Allow. Aunque por definición es correcta, es conveniente no utilizarla, puesto que las rutas omitidas se asumen que están permitidas por defecto, y algunos crawlers no entienden la palabra Allow.
Es posible acumular varios Disallow bajo un mismo User-agent, pero no podemos utilizar varios User-agent encima de un Disallow. Veamos un ejemplo:
 
# Crawler de Bing
User-agent: bingbot
Disallow: /links.html
Disallow: /private/
Disallow: /photos/
 
Este código impide al crawler del buscador de Bing (Microsoft) acceder a la página links.html, y las carpetas private y photos (y todo su contenido) de nuestro sitio.
Añadiendo el carácter # al principio de una linea podemos escribir comentarios que no interpretará el crawler.
Opciones avanzadas: Comodines
Es posible ir acumulando reglas para distintos crawlers, formando un robots.txt más largo y completo. Cada vez que escribamos un User-agent deberemos dejar una linea en blanco de separación. Además, existe una ligera adaptación que permiten usar comodines ($ y *) en las rutas en algunos crawlers (sólo Googlebot y Slurp):
 
User-agent: Slurp
Disallow: /*.js$
Disallow: /2006/*
Disallow: /2007/*
Disallow: /articulos/*/pagina/*
 
Se está indicando al robot de Yahoo, que no indexe los ficheros que terminen en .js (javascript), direcciones que empiecen por 2007 o 2006 (fechas), ni artículos con la palabra pagina (paginado de comentarios). Estos casos pertenecen a la idea de no indexar contenido duplicado.
En la mayoría de los blogs, puedes acceder a un mismo artículo por las direcciones:
  • blog.com/articulo/titulo, la dirección principal.
  • blog.com/2007/04/, el archivo del mes.
  • blog.com/articulo/titulo/feed, feed RSS del artículo.
  • blog.com/articulo/titulo/pagina/2, pagina 2 de comentarios.
Todo esto es contenido duplicado, una de las razones más importantes de penalización para un buscador, a no ser, claro, que te las ingenies para que sólo sea accesible desde una dirección. A la hora de ver los resultados te asombrarás lo bien que estarás quedando ante los ojos de Google, por ejemplo.
Hay que tener mucho cuidado con usar cosas como Disallow: /pagina o Disallow: /*pagina, puesto que en lugar de bloquear lo que queríamos (carpeta pagina o artículos paginados), terminen bloqueando direcciones como /decorar-mi-pagina o /paginas-para-amigos/.
Reducir frecuencia de rastreo
Si revisas estadísticas y demás, también puedes observar que a veces algunos crawlers «se pasan» revisando nuestro sitio, y funden a peticiones a nuestro pobre servidor. Existe una manera de tranquilizar a los robots:
 
User-agent: noxtrumbot
Crawl-delay: 30
 
Con esto le decimos al robot de noxtrum que espere 30 segundos entre cada acceso. Cuidado, porque Crawl-delay puede que no lo soporten todos los crawlers. Bing y Google si lo soportan.


#2
que buena info bro al principio tube varios problemas pero ya todo solucionado salduos
#3
Genial la información, gracias miles... ahora, si existiese un pluggin para wordpress que manejase este fichero sería estupendo!!!
#4
gracias, tenia un robot.txt en mi sitio pero no sabia ni para que servia, ahora toca configurarlo adecuadamente.
#5
Excelente información, a veces no le damos la importancia a este archivo pero juega un papel muy importante en nuestra web y en la estrategia de SEO, saludos.


Posibles temas similares...
Tema Autor Respuestas Vistas Último mensaje
  Neuro Web Design y lo que necesitas saber para hacer sitios web más sexys jlgarduza 4 648 11-04-2015, 01:05 AM
Último mensaje: fercol
  Denegar el acceso a robots dañinos nexus12345 17 2,394 13-03-2015, 02:46 PM
Último mensaje: locraft
  Enviar emails con PHP no funciona del todo bseca 10 1,216 30-12-2014, 09:50 PM
Último mensaje: bseca
  Cómo saber mi ID de Facebook, Twitter, y Google+ imgur 0 507 04-12-2014, 05:39 AM
Último mensaje: imgur
  21 hacks de htaccess que todo desarrollador deberí­a conocer ClanLatino 42 15,839 13-06-2013, 04:31 AM
Último mensaje: zidrave
  Saber que Pagina Web MIENTE con sus Estadisticas lucy 0 420 21-05-2013, 03:53 AM
Último mensaje: lucy
  Como Saber si tu web es vulnerable kersinc 33 4,948 11-05-2013, 09:57 PM
Último mensaje: MrLoco
  tips SEO y seguridad web (Robots.txt) mandragon 4 1,284 05-05-2013, 02:02 AM
Último mensaje: MrLoco
  [PHP] Saber cuanto se demora en cargar tu pag torgar22 4 720 01-03-2013, 10:31 PM
Último mensaje: Poizonus
  Utilizar Google Alerts para saber si tu web es hackeada Kevin9908 25 2,493 09-11-2012, 12:24 AM
Último mensaje: Marcus_Fenix



Usuarios navegando en este tema: 1 invitado(s)