[room] robots.txt

[Eugene Ostapets]

17.07.05, Aleksey Korotkov<ziga udm.net> написал(а):
> NSG> дык я ж схему защиты предлагаю :) нужно доказать что их паук НЕ
> NSG> скачал этот файл (а качать не обязан). vs. скачал но не послушался.
> 
> wget'у, например, легко сказать -- качать robots.txt или нет:
Сказать можно, но по тому же ману от wget данный файл записан как
СТАНДАРТ указания роботам что именно они не имеют права качать...

-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets на jabber.ru