[room] robots.txt

[Nick S. Grechukh]

В сообщении от Понедельник 18 Июль 2005 18:42 Michael Shigorin написал(a):
> On Mon, Jul 18, 2005 at 08:25:18PM +0600, Andrey Rahmatullin wrote:
> > По-моему, кому-то заинтересованному уже пора поискать-таки, что
> > про это пишуть в стандартах... А то пока не особо
> > аргументироанно получается. Ман - не аргумент.
> Блин.  Это такой же proposal, как и любой RFC.
> http://www.robotstxt.org/wc/exclusion.html
ну типа да. 
many Web Robots offer facilities for Web site administrators and content 
providers to limit what the robot does. 

Note that these methods rely on cooperation from the Robot, and are by no 
means guaranteed to work for every Robot. If you need stronger protection 
from robots and other agents, you should use alternative methods such as 
password protection.

но произвольный http агент совершенно не обязан что-либо знать о robots.txt.