Calificación:
  • 1 voto(s) - 5 Media
  • 1
  • 2
  • 3
  • 4
  • 5
tips SEO y seguridad web (Robots.txt)
#1
antes de todo quiero mencionar lo bueno de saber restringir las carpetas y/o url que puedan hacer mas difícil nuestro posicionamiento en la web, ya sea por por duplicación de contenido o como brindar información personal (ID & passwords)Declaración de los filtros que usaremos en nuestras restricciones, tales como impedir que indexen "listen" carpetas especificas, url especificas, parámetros de urls y ademas enlazarlo con nuestro sitemap.xml

User-agent » aquí declararemos los crawler's que usaremos.

* » todo, también significa "cualquier carácter"

/ » señala y separa las carpetas

$ » fin de linea, para nuestro caso
la utilizaremos para restringir formatos y/o url duplicadas

Disallow » restringir el acceso de los buscadores,
aunque actualmente tiene doble función

Allow » Permitir el acceso de los buscadores,
aunque actualmente ya no es usado.
Es bueno nombrarlo

# » entrada de comentario

Sitemap » ruta hacia nuestro sitemap.xml
ejemplo 01) supongamos que usamos un CMS cualquiera cuya arquitectura nos imprima una url dinámica de la siguiente manera

dijo:

http://mi-dominio.com/index.php?action=1
http://mi-dominio.com/index.php?action=1.0
http://mi-dominio.com/index.php?action=1.0.htm
http://mi-dominio.com/index.php?action=1.html


que todas ellas representan la misma pagina en nuestro sitio web y ademas,
donde action = serán las acciones a usar es decir, pagina, producto, usuario, etc y ademas 1 sera la ID de dicha acción.

entonces crearíamos nuestro archivo robots de la siguiente manera (dentro de la carpeta raíz de nuestro dominio) ejemplo : public_html/robots.txt

dijo:

User-agent: *
Disallow: /index.php?action=*.0*$
Disallow: /index.php?action=*.html$
Sitemap: http://mi-dominio.com/sitemap.xml


de esta manera estaríamos dando el único valor de indexacion a http://mi-dominio.com/index.php?action=1
evitando la duplicación de contenido y ademas vinculando nuestro sitemap, donde se indicara que url sera indexada y con que frecuencia ( mas info véase en google "sitemap.xml"ejemplo02) supongamos que usamos un CMS que te permita procesar comentarios y ademas tenga un sistema de url amigables pero sin embargo, al procesar un comentario con ajax, siempre nos crea una nueva url al comentar, algo así:

dijo:

http://mi-dominio.com/desarrollo-web/cre...a-web.html
http://mi-dominio.com/desarrollo-web/cre...mentario-1
http://mi-dominio.com/desarrollo-web/cre...mentario-2
*
*
*
http://mi-dominio.com/desarrollo-web/cre...tario-1567


entonces crearíamos nuestro archivo robots de la siguiente manera (dentro de la carpeta raíz de nuestro dominio) ejemplo : public_html/robots.txt

dijo:

User-agent: *
Disallow: /*/*comentario*$
Sitemap: http://mi-dominio.com/sitemap.xml


quiero aclarar, que en la mayoría de los casos las url dinámicas en ajax se procesan con un # antes, pero en el archivo robots # representa entrada de comentario es por ese caso que prefiero usar * "todo" para capturas ese carácter. ejemplo03) bloquear carpetas especificas

dijo:

User-agent: *
Disallow: /carpeta-bloqueada/
Disallow: /carpeta-bloquead/sub-carpeta-bloqueada/
Disallow: /carpeta-bloquead/sub-carpeta-bloqueada/SUB-sub-carpeta-bloqueada/


tienes que tener en cuenta que al bloquear una carpeta bloquearas por default todas sus sub carpetas,
ejemplo04) bloquear extensiones especificas en carpetas especificas

User-agent: *
Disallow: /*.ico$
Disallow: /todos-mis-zip/*.zip$
Disallow: /todos-mis-rar/*.rar$
Disallow: /todos-mis-pdf/*.pdf$
Disallow: /todos-mis-swf/*.swf$
Disallow: /todos-mis-dcr/*.dcr$
Disallow: /todos-mis-javascript/*.js$
Disallow: /todos-mis-css/*.css$

ejemplo5) trabajar con crawlers específicos mas info de crawlers, para nuestro ejemplo solo usaremos los mas conocidos: google, yahoo, msn

dijo:

# Crawler de GOOGLE
User-agent: googlebot
################
# filtros para bots
################


dijo:

# Crawler de MSN
User-agent: msnbot
################
# filtros para bots
################


dijo:

# Crawler de YAHOO
User-agent: Slurp
################
# filtros para bots
################



por lo demás, solo es cosa de lógica, sean creativos a la hora de restringir el acceso de los bots a vuestros sitios, antes de culminar esta parte les presento una herramienta que personalmente utilizo para saber si estoy haciendo un buen filtro http://www.xml-sitemaps.com/

donde escribo mi url y el sistema trabaja igual que un crawler,
-- si yo bloquee bien el acceso a las url mediante mi archivo robots el resultado que me bote el generador de sitemaps, serán las urls que si están legibles para la indexacion...
#2
Muchas gracias por los tips, me sirvieron bastante Lengua
#3
Gracias, muy buenos tips para SEO, los pondré en práctica en mis páginas web.
Saludos.
#4
muchos de estos tips, me han servido para ganar dinero extra con mis clientes jejeje. gracias
#5
Cierro para evitar Necroposting


Posibles temas similares...
Tema Autor Respuestas Vistas Último mensaje
  Robots.txt : Todo lo que deberias saber FullPirata 4 130 01-08-2017, 05:04 AM
Último mensaje: garcon
  [Duda] COPIA DE SEGURIDAD PÁGINA WEB pedrovillarraga 8 408 02-08-2015, 04:12 PM
Último mensaje: YamaT
Bombilla copia de seguridad paginas web pedrovillarraga 1 215 02-05-2015, 09:42 AM
Último mensaje: Vicen
  Comprobar seguridad de la web con php TOMMYNRH 8 1,112 29-04-2015, 04:38 PM
Último mensaje: bseca
  Denegar el acceso a robots dañinos nexus12345 17 2,144 13-03-2015, 02:46 PM
Último mensaje: locraft
  seguridad en .httacess truzst23 16 1,608 27-08-2014, 06:32 PM
Último mensaje: TheBomberbe
Arcoiris Enseñe a los niños los fundamentos de la seguridad en línea R0bert0 2 416 10-08-2014, 05:09 AM
Último mensaje: habacuc78
  Estados Unidos reconoció que utiliza fallas de seguridad omegle23 17 1,038 06-06-2014, 05:44 AM
Último mensaje: yayito21
Estrella 5 Webs/Tips que de seguro te ayudan! Jona 3 492 14-06-2013, 07:22 PM
Último mensaje: FullPirata
  Consejos para aumentar la seguridad Taquion 14 2,004 16-05-2013, 02:55 PM
Último mensaje: MrLoco



Usuarios navegando en este tema: 1 invitado(s)