[room] robots.txt

[Eugene Ostapets]

17.07.05, Nick S. Grechukh<nick.grechukh bigmir.net> написал(а):
> Eugene Ostapets wrote:
> >> > На сколько я помню - это требование к системам индексирования не
> >> Так вот "требование" или совет?
> > То, что читал я - звучало как требование...
> на самом деле, все равно это не может рассматриваться как средство защиты и
> соответственно его обхода не было (а если агент не поддерживает robot
> exclusion standart? в протоколе http robots.txt не описан :-)
Я думаю что юристы будут не так однозначны в трактовании этого файла... 
> 
> вот когда baida.ru не отдает wget'у 403, и я делаю wget -u Mozilla - это
> "взлом" для dmca. потому что server side ограничение.
Хорошо что напомнили:
man wget:
------- skip ------
Wget can follow links in HTML and XHTML pages and create local versions
of remote web sites, fully recreating the directory structure of the
original site.  This is sometimes referred to as ``recursive download-
ing.''  While doing that, Wget respects the Robot Exclusion Standard
(/robots.txt).  Wget can be instructed to convert the links in down-
loaded HTML files to the local files for offline viewing.
------- skip ------

-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets на jabber.ru