上海网站建设

上海网站建设

咨询热线:(021)51698180


Seo搜索引擎优化

上海网站建设RSS订阅  RSS订阅  新浪微博  新浪微博  上海网站建设客服  客服  获取报价  获取报价

google机器人介绍

    搜索引擎机器人应该听过吧!当然也可以叫它们“蜘蛛”“爬虫”,然而我们的肉眼是看不见他们的。

  google机器人是Google 的web 抓取漫游器。它从web上收集文档,为Google搜索引擎建立可搜索的索引。 Googlebot是google的机器人的意思,俗称google爬虫。

  把火狐伪装成爬虫有什么好处呢?对经常光顾verycd的朋友们非常有用。可以免登录看贴。首先我们用火狐测试一下:打开这里是不是要求你登录?

  继续,设置方法,打开火狐,Ctrl T新建一个浏览标签,输入:about:config,打开配置页面,右键点击页面选择“新建→字符串”,在弹出的窗口中输入:general.useragent.override,确定之后,输入:Googlebot/2.1 ( http://www.googlebot.com/bot.html),继续确定,关闭窗口。

  其实上次Matt所透露的仅仅是其中一方面的内容。今天,Matt再次写了一篇非常详细的文章,解释了Google的各种bot是怎样抓取网页的,以及Google最新的BigDaddy在抓取网页方面有什么新的变化等等,内容非常的精彩,所以和大家分享一下。

 


  首先要介绍的是Google的"crawl caching proxy"(爬行缓存代理)。Matt举了一个ISP与用户的例子来说明它。用户上网时,总是先通过ISP获取网页内容,然后ISP就会把用户访问过的网页缓存起来备用。比如说,当用户A访问了www.seo39.com,那么中国电信(或网通等)就会把"幻灭的麦克风"发送给用户A,然后将"幻灭的麦克风"缓存起来,当用户B在下一秒钟里再访问www.seo39.com,那么中国电信就会把缓存里的"幻灭的麦克风"发送给用户B,这样就能节省了带宽。

 


  正如本站之前所报道的那样,Google最新的软件层面的升级(转移至BigDaddy)已经接近完成,因此升级后的Google各方面的能力都将得到加强。这些加强包括了更智能化的googlebot爬行、改良的规范性以及更好的收录网页能力。而在Googlebot爬行抓取网页方面,Google也采取了节省带宽的方法。Googlebot也随着BigDaddy的升级而得到了升级。新的Googlebot已经正式支持了gzip编码,所以如果你的网站开启了gzip编码功能,那么就能节省Googlebot爬行你的网页时所占的带宽。

  除了改良的Googlebot外,升级后的Google将会采用上面所说到的crawl caching proxy来抓取网页,以进一步节省带宽。