# B.Degoy 26/06/99 - 06/06/02
# robots.txt 
# voir http://info.webcrawler.com/mak/projects/robots/

User-agent: * 			# pour tous les robots

# pour interdire aux webcrawlers d'exécuter les cgi du site
Disallow: /cgi-bin/		
# interdire les répertoires techniques ou privés
Disallow: /_border/
Disallow: /_derived/
Disallow: /_disc/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/
Disallow: /_controlled/
Disallow: /images/
Disallow: /reader/
Disallow: /_search/
Disallow: /stats/
Disallow: /webstats/

# interdire les sous-répertoires tant que les meta tags n'ont pas été mis en place
# Disallow: /pub/
# Disallow: /strat/
# Disallow: /ri/

#interdire les fichiers de log, les textes, les fichiers de script
Disallow: *.log
Disallow: *.txt
Disallow: *.doc
Disallow: *.php
Disallow: *.php3