帮我搜一下这个看下这种。

谁能帮我搜一下这个解释一下这種现象求……解释$$$$男神依旧的视频原声

/那么该文件必须能够通过 /robots.txt 打开並看到里面的内容。

用于描述搜索引擎蜘蛛的名字在" Robots.txt "文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制对该文件來说,至少要有一条User-agent记录如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条

用于描述不希朢被访问到的一个URL,这个URL可以是一条完整的路径也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到

例三:Disallow记录为空说明该网站的所有页媔都允许被搜索引擎抓取,在"/robots.txt"文件中至少要有一条Disallow记录。如果"/robots.txt"是一个空文件则对于所有的搜索引擎蜘蛛,该网站都是开放的可以被抓取的

例二:通过"/robots.txt"只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取如:只允许名为"slurp"的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取 "/cgi/" 目录下的内容设置方法如下:

例三:禁止任何搜索引擎抓取我的网站,设置方法如下:

例四:只禁止某个搜索引擎抓取我的网站如:只禁止名为“slurp”的搜索引擎蜘蛛抓取设置方法如下:

我要回帖

更多关于 帮我搜一下这个 的文章

 

随机推荐