Google ——
Googlebot：Google对一般网页的索引程序。
Googlebot-Mobile：Google对于移动设备，如手机网页的索引程序。
Googlebot-Image：Google专门用来抓取图片的程序。
Mediapartners-Google：为放置了Google Adsense广告联盟代码的网站使用的专用抓取程序，只针对放置了Google Adsense代码的网站。这个爬虫的作用是专门抓取Adsense广告内容。
Adsbot-Google：这是Google专门为Google Adwords客户设计的蜘蛛，如果你使用了Google的Adwords服务，那么Google就会派出这个蜘蛛来衡量放置了你广告的网站的质量。
百度——
Baiduspider：百度的综合索引蜘蛛
Baiduspider-mobile：百度的无线搜索
Baiduspider-image：百度的图片搜索
Baiduspider-video：百度的视频搜索
Baiduspider-news：百度的新闻搜索
Baiduspider-favo：百度搜藏
Baiduspider-cpro：百度联盟
搜狗——
sogou spider：搜狗综合索引蜘蛛
雅虎——
Yahoo! Slurp：雅虎的综合索引爬虫程序。
Yahoo!-AdCrawler：雅虎专门为Yahoo!搜索引擎广告开发的专用蜘蛛。
有道——
YodaoBot：有道搜索引擎综合索引蜘蛛
腾讯SOSO——
Sosospider：腾讯SOSO综合索引蜘蛛
MSN——
MSNBot：Live综合索引蜘蛛