# Control de robots para Ecoturismopalencia
# Una linea con Disallow en blanco permite que ese
#   robot recupere todo
# Crawl-delay indica el tiempo (en segundos) que debe
#  esperar un robot antes de indexar otra pagina del sitio
#  Este solo es para el spider de MSN ("MSNBot") y para el
#  de Inktomi ("Slurp"), los demas spiders lo ignoraran. Si
#  se pone en blanco toma por defecto 1s. Esto es porque estos
#  dos spiders son muy hostiles al indexar paginas, y cargan
#  el servidor innecesariamente.

# No queremos a Rover
User-agent: Roverbot
Disallow: /

User-agent: Mediapartners-Google* 
Disallow:

# Google
User-agent: Googlebot
Disallow: /admin/

# Buscador de imagenes de Google
User-agent: Googlebot-Image
Disallow: /admin

# AllTheWeb - como google
User-agent: fast
Disallow: /admin/

# Inktomi
User-agent: Slurp
Crawl-delay: 10
Disallow: /admin/

# Yahoo
User-agent: Yahoo-NewsCrawler*
Disallow: /admin/

# MSN
User-agent: msnbot
Crawl-delay: 100
Disallow: /admin/

# AskJeeve - usa dos spiders
User-agent: teomaagent1
Disallow: /

User-agent: directhit    
Disallow: /
   
# Lycos: 
User-agent: lycos
Disallow: /

User-agent: *
Crawl-delay: 100
Disallow: /admin/


# Para ver mas robots, mirar los logs del servidor