[room] robots.txt

[Aleksey Korotkov]

On Sun, 17 Jul 2005 12:51:12 +0300
Nick S. Grechukh wrote:

NSG> дык я ж схему защиты предлагаю :) нужно доказать что их паук НЕ
NSG> скачал этот файл (а качать не обязан). vs. скачал но не послушался.

wget'у, например, легко сказать -- качать robots.txt или нет:

[ziga на localhost etc]$ cat wgetrc |grep -A 2 robots.txt
# Setting this to off makes Wget not download /robots.txt.  Be sure to
# know *exactly* what /robots.txt is and how it is used before changing
# the default!
#robots = on

-- 
С уважением,
Алексей Коротков

mailto:ziga на uni.udm.ru