主流搜索引擎蜘蛛介绍
搜索引擎蜘蛛是一个自动应用程序，它的作用很简单，就是在互联网中浏览信息，然后把这些信息都抓取到搜索引擎的服务器上，再建立索引库等操作。对网站SEO来说，我们可以把蜘蛛当作采集网站内容的工具，因此越是有利于蜘蛛爬取的操作，就越有利于搜索引擎优化。
1、百度蜘蛛Baiduspider
百度搜索的爬行蜘蛛有：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取图片）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。百度蜘蛛通常会过度重复地抓取同样的页面，导致其他页面无法被抓取到而不能被收录。这种情况可以采取 robots协议的方法来调节。
2、谷歌蜘蛛Googlebot
谷歌爬行蜘蛛Googlebot最新名称为“compatible; Googlebot/2.1;”“Googlebot-Mobile”，看名字是抓取wap内容的。谷歌蜘蛛属于比较活跃的网站扫描工具，其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
3、雅虎中国蜘蛛“Yahoo! Slurp China”或者Yahoo!
如果某个网站在谷歌网站下没有很好的收录，在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大，但平均的效率不是很高，相应的搜索结果质量不高。
4、微软必应蜘蛛：bingbot 线上(compatible; bingbot/2.0;) ，必应与雅虎有着深度的合作关系，所以基本运行模式和雅虎蜘蛛差不多。
5、搜狗蜘蛛Sogou News Spider
搜狗爬行蜘蛛的爬取速度比较快，抓取的数量比起速度来说稍微少点。最大的特点是不抓取 robot. text文件。搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider，Sogou web spider、Sogou inst spider、 Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0spider2、Sogou blog、Sogou News Spider、Sogou Orion spider。
6、搜搜蜘蛛Sosospider
搜搜爬行蜘蛛Sosospider 早期是运用谷歌的搜索技术，谷歌有收录，搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术，但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。
7、有道蜘蛛YoudaoBot
网易爬行蜘蛛和其他搜索引擎蜘蛛一样，凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。
8、360蜘蛛360Spider
360综合搜索官方表示，360蜘蛛同样支持disallow命令，如果网站设置了通用的disallow，360搜索是不会去抓取页面的。
9、神马蜘蛛：YisouSpider
10、Alexa蜘蛛：ia_archiver
11、宜搜蜘蛛：EasouSpider
12、即刻蜘蛛：JikeSpider
13、MSN蜘蛛：msnbot，msnbot-media