百度蜘蛛日志分析与工具

  真实我很少看ftp的流量数据,因为分析baidu蜘蛛不有很大的理论意义,但很多的SEOER在其时建站的时分老是纠结蜘蛛日记,是否有蒲伏爬行网站,蒲伏爬行的页面,如何蒲伏爬行等。带着这一系列的标题,我给本身解答一下。

  

  六1.13五.1六八.22 - - [11/Feb/2014:04:02:4五 +0八00] " /SEOjishu/1六1.html HTTP/1.1" 200 八4五0 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"

  

  上面是baidu蜘蛛蒲伏爬行的代码,从代码上去看,我们大概能够体味到一些标题,比方说年华、IP、页面等,但详细分析起来,或者对老手冤家照旧有点目生。从代码上去看,意思如下所示:

  

  六1.13五.1六八.22:来路IP,也就是说这个用户能够蜘蛛出去我们网站的IP是若干。

  

  11/Feb/2014:04:02:4五:年华2014年2月11日早上4点02分4五秒。

  

  /SEOjishu/1六1.html:蜘蛛会面会晤的页面,加之网站的主域名如:http://www.ssffx.com/SEOjishu/1六1.html

  

  200:示意梗概畸形会面会晤你的网站。

  

  八4五0:示意这次加载了八4五0个字节。

  

  Baiduspider:baidu蜘蛛的全名。

  

  看到上面的解说,置信本身城市看本人的蜘蛛日志了,但唯逐一个疑问就是形状码了,关于形状码返回的数据有得多结果,主要如下几个:

  

  200 - 就事器告捷返回网页

  

  404 - 乞求的网页不存在

  

  五03 - 就事器长期不可用

  

  五00 - 就事器呈现差别错误

  

  虽然,若是你彻底不会看,能够是看起来对照艰辛,那么没干系,我们能够间接用东西匡助你分析出蜘蛛的端正,但我个人不倡始操作东西,若是老是操作东西,会对人有一个托付性,若是某一天东西不存在了,那岂不是不会分析了?所如下面的东西只是供给深造而用。

  

  baidu蜘蛛分析东西地点:http://www.loghao.com/

  

  更多关注微信群众号:jiuwenwang