[room] robots.txt

[Nick S. Grechukh]

Eugene Ostapets wrote:
> 16.07.05, Andrey Rahmatullin<wrar altlinux.ru> написал(а):
>> On Sat, Jul 16, 2005 at 03:20:48PM +0300, Eugene Ostapets wrote:
>> > На сколько я помню - это требование к системам индексирования не
>> Так вот "требование" или совет?
> То, что читал я - звучало как требование...

на самом деле, все равно это не может рассматриваться как средство защиты и
соответственно его обхода не было (а если агент не поддерживает robot
exclusion standart? в протоколе http robots.txt не описан :-)

вот когда baida.ru не отдает wget'у 403, и я делаю wget -u Mozilla - это
"взлом" для dmca. потому что server side ограничение.