Robots TXT vs Etiquetas META, The Match Of The Millennium

Es de bien sabido que localizar el robots.txt de una página puede proporcionarnos mucha información a la hora de planificar ataques a esa pagina. Así que desde el punto de vista de la seguridad gana de calle el uso de la etiqueta <META name "robots" de HTML.

foto de un robots.txt cualquiera 

Al utilizar una etiqueta meta en cada pagina podemos indicar que pagina se quiere indexar y cual no o cuales son rastreables por las arañas y cuales no. 

Para los que no sepáis la diferencia entre indexar y rastrear: 

• Indexar:  Dejar que la pagina en cuestión sea incluida en el "repositorio" de los buscadores, de esta manera cualquiera podrá encontrarla utilizando Google o otros buscadores.
• Rastrear: Dejar que las arañas de los buscadores sigan los enlaces de nuestra página.

No hace falta decir que con el uso de este tipo de etiquetas nos ahorramos dar demasiada información a un atacante externo ya que irán directamente en el código de la pagina. 

Hay 4 tipos de etiquetas  

• <meta name”robots” content=”index, follow”>
• Lo permite todo, indexar y rastrear.
• <meta name”robots” content=”index, nofollow”>
• Solo permite que la página sea indexada. 
• <meta name”robots” content=”noindex, follow”>
• Solo permite que se puedan seguir los enlaces de la página. 
• <meta name”robots” content=”noindex, nofollow”>
• No permite nada. 

Sed Buenos ;)