怎么查看蜘蛛重复性访问首页是否来过与如何提高访问频率

如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站
发布时间: 4:41:01
编辑:www.fx114.net
本篇文章主要介绍了"如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站",主要涉及到如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站方面的内容,对于如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站感兴趣的同学可以参考一下。
&& 这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的的完整使用日志中有这样的记录:(IIS日志文件位置:c:/windows/system32/LogFiles/W3SVCXXXXXXXX/exyymmdd.log)
220.181.38.198 - - [11/Nov/:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+
&(+/search/spider.htm)"这就说明蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索&spider&这个词,或者搜索蜘蛛的IP,都可以查到。
其他经常碰到的HTTP状态码列表如下:
HTTP状态码&&&&&&& 摘要说明
成功2&&&&&&&&&&& 成功处理了请求的状态码。200&&&&&&&&&&&&&&&&&& 服务器已成功处理了请求并提供了请求的网页。204&&&&&&&&&&&&&&&&&& 服务器成功处理了请求,但没有返回任何内容。&&&&&&&&&&&&&&&&&&&&&&&& 重定向3&&&&&&&& 每次请求中使用重定向不要超过 5 次。301&&&&&&&&&&&&&&&&&&&请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL。302&&&&&&&&&&&&&&&&&& 请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。304&&&&&&&&&&&&&&&&&& 如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。客户端错误4&&&&表示请求可能出错,妨碍了服务器的处理。400&&&&&&&&&&&&&&&&&&& 服务器不理解请求的语法。403&&&&&&&&&&&&&&&&&&& 服务器拒绝请求。404&&&&&&&&&&&&&&&&&&& 服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。410&&&&&&&&&&&&&&&&&&& 请求的资源永久删除后,服务器返回此响应。该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404 代码。如果资源已永久删除,应当使用 301 指定资源的新位置。服务器错误5&&&& 表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。500&&&&&&&&&&&&&&&&&&&& 服务器遇到错误,无法完成请求。503&&&&&&&&&&&&&&&&&&&& 服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。
本文标题:
本页链接:

我要回帖

更多关于 如何提高百度蜘蛛抓取 的文章

 

随机推荐