[room] robots.txt

Eugene Ostapets =?iso-8859-1?q?eostapets_=CE=C1_gmail=2Ecom?=
Пн Июл 18 08:23:01 MSD 2005


17.07.05, Aleksey Korotkov<ziga udm.net> написал(а):
> NSG> дык я ж схему защиты предлагаю :) нужно доказать что их паук НЕ
> NSG> скачал этот файл (а качать не обязан). vs. скачал но не послушался.
> 
> wget'у, например, легко сказать -- качать robots.txt или нет:
Сказать можно, но по тому же ману от wget данный файл записан как
СТАНДАРТ указания роботам что именно они не имеют права качать...

-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets на jabber.ru


Подробная информация о списке рассылки smoke-room