Generador de Robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


Acerca del Generador de Robots.txt

El fichero robots.txt es un archivo que se pone en la raiz de las páginas Web siendo un estandar de exclusión de robots. Con éste lo que se indica a un robot cuando visita nuestra Web es si puede acceder y dónde. Así como también se le puede indicar la ruta del sitemap de nuestro sitio Web.