搜索引擎常用User-Agent汇总

-

User-Agent （简称UA）是 http 协议的一个请求头（header），用来让服务端识别发起请求的用户软件信息，包含有应用类型、操作系统、软件提供商、版本号等。

User-Agent中文翻译为用户代理，最常见的网页浏览器就是一个“帮助用户获取、渲染网页内容并与之交互”的用户代理；电子邮件阅读器也可以称作邮件代理。

对于搜索引擎来说，搜索引擎的爬虫，就是帮助搜索引擎获取、理解网页内容的用户代理。

关于User-Agent 的相关的规范可以看：RFC 7231, section 5.5.3: User-Agent，RFC 2616, section 14.43: User-Agent。

在SEO中，UA经常被用在服务端识别网络爬虫类型，本文详细讲解各个爬虫的 UA特征。

Baiduspider

百度曾经是排名第二的搜索引擎，在 Google 还没退出中国之前，中文搜索质量很高，即使让用户选择，大多数也会优先选择百度，但后面几年的事大家都知道了，用户体验越来越差，个人感觉现在 bing 的中文搜索质量都比百度好了，从我们统计的爬虫数据来看，google 和 bing 是最勤劳的，而且收录频率和数量较好，百度搜索速度较差，响应时间久。

百度搜索引擎爬虫，相关信息：BaiduSpider，和 GoogleBot 一样根据功能分很多种，我们也只需通过 baiduspider 字段判断即可。

产品名称对应user-agent
网页搜索Baiduspider
移动搜索Baiduspider
图片搜索Baiduspider-image
视频搜索Baiduspider-video
新闻搜索Baiduspider-news
百度搜藏Baiduspider-favo
百度联盟Baiduspider-cpro
商务搜索Baiduspider-ads

Googlebot

谷歌搜索引擎，是目前市场占有率最高的搜索引擎，达到了 92.71%（数据来源：2021年8月，全球&中国搜索引擎市场份额排行榜），爬虫UA 为 Googlebot，通常有更细致的区分，比如新闻爬虫、广告爬虫、PC 网页爬虫，移动端爬虫，可以从详细的 UA 信息中看到，作为网站内容提供方，一般我们只需要判断 UA 中是否带有 googlebot 字段就可以了。

完整的 UA 列表可以看：Google 抓取工具（用户代理）概览，搜索控制台：Search Console

谷歌的爬虫是效率最高的，一般网页一有新内容，很快就可被收录。

搜狗Sogou爬虫

Sogou PC UA

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou inst spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou spider (+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou 移动 UA

Sogou wap spider(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou 新闻 UA

Sogou News Spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou 图片 UA

Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou 视频 UA

Sogou Video Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou 未知 UA

Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

360搜索

360搜索，是周鸿祎的北京奇虎科技有限公司开发的一款搜寻引擎，主打“安全、精准、可信赖”。 360搜索于2012年8月16日上线， 9月启用独立域名so.com。“奇虎”称，其中“S”代表Safe，“O”代表Open。

360搜索User agent：

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

必应爬虫 User agent

Bing.com 是一款微软公司推出的用以取代 Live Search 的搜索引擎。简体中文版 bing 于 2009 年 6 月 1 日正式对外开放访问。中文名称被定为“必应”，有“有求必应”的寓意。

近年来bing的搜索质量不断提升，用户体验也越来越好，国际市场占有率在 2.73%，国际排名第二。

必应爬虫User agent：

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (Linux; Android 8.0.0; MHA-AL00 Build/HUAWEIMHA-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/68.0.3440.91 Mobile Safari/537.36 BingWeb/6.9.6
Mozilla/5.0 (Linux; Android 8.0.0; MI 6 Build/OPR1.170623.027; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/70.0.3538.110 Mobile Safari/537.36 BingWeb/6.9.6
Mozilla/5.0 (Linux; Android 8.0.0; ONEPLUS A3010 Build/OPR1.170623.032; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/67.0.3396.87 Mobile Safari/537.36 BingWeb/6.9.0

Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

字节跳动 User agent

字节一直想在搜索上分一杯羹，无论是推出头条搜索，还是收购互动百科并改名为秒懂百科，以及曾经花重金投入的悟空问答，字节都是希望自己能过在搜索流量分发领域，找到属于自己的新增长点。

字节跳动 User agent：

统一的User agent标志为：“Bytespider”，具体的User agent为：

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

Applebot

这是苹果的爬虫UA，详细信息可以看：关于 Applebot，苹果的爬虫主要用在 Siri 还有产品建议上。

Apple User agent:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5
(KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

在SEO的过程中，准确识别User-Agent，可以：

  • 维护站点信息安全；
  • 保障抓取效率最大化；
  • 优化服务器负载；

同时，通过对日志中User-Agent分析，还可以帮助我们评估不同搜索引擎对站点的访问频次、深度、抓取效率，以便我们有针对性的做出与之相对应的优化策略。

评论

发表评论

此博客中的热门博文

2022年SEO页面Title撰写指南

-
图片
撰写出色的页面标题（Title）是每一个SEO从业者必备的基本技能。 原因是页面标题（Title）是用户在搜索引擎的搜索结果页面中第一眼就会看到的内容，也是用户决定自己是否要点击某一个搜索结果重要判断依据。 好的页面Title，可以将更多的用户从搜索引擎带到你的网站，同时，好的页面Title也能够为网站带来更精准的目标用户。 而对于搜索引擎来说，页面标题（Title）更是搜索引擎识别页面内容，判断页面在不同关键词条件下页面权重，从而决定页面在搜索结果中排序位置最为重要的因素之一。 自从搜索引擎和SEO出现以来，页面标题（Title）的优化一直都非常的重要。 本文将梳理在2022年必须知道的关于页面标题（Title）的最新和最全的知识，以及教会你如何在2022年创建出既符合用户需求，又能够在搜索引擎上获得好的排名的页面标题（Title），从而最终获得更多更精准的免费流量。 通过阅读本文，你可以学习到下列内容： 什么是页面标题（Title）？ 页面标题(Title)是如何影响SEO的？ 如何撰写优秀的页面标题(Title)？ 页面标题(Title)常见问题Q&A 页面标题(Title)中是否要包含品牌名？ 页面标题（Title）的最佳长度是？ 页面标题(Title)的分隔符选择？ 页面发布后还可以修改页面标题（Title）吗？ 如何为大量的页面设置页面标题（Title）？ 什么是页面标题（Title）？ 页面标题（Title）在SEO中特指HTML  元素定义文档的标题，页面标题（Title）的字段会显示在浏览器的标题栏或标签页上。它只应该包含文本，而本文应该由“非空字符或特殊字符（ whitespace (en-US) ）的文本”构成。 用浏览器打开一个网页，点击鼠标右键，在弹出菜单中选择查看网页源代码，在浏览器打开的新窗口中，你通常可以找到这样一段代码： <title>美国国家航空航天局 - 维基百科，自由的百科全书</title> 在和中间的内容，就是我们常说的页面标题（Title）。 页面标题（Title） 和Description（页面描述），以及 URL（页面链接） 一起，构成了搜索结果中最重要的三个元素： 在大多数情况下，用户通过搜索引擎访问你的站点，在进入站点之前，最先看到的内容，就是你的页面标题（Title）。 ...
Read more »

什么是SEO（搜索引擎优化）

-
图片
什么是SEO？ 简单的说，SEO （搜索引擎优化） 就是一种通过合理的规则，让你的内容在百度、谷歌等搜索引擎上获取免费的、长期的曝光机会的营销方法。 SEO是一种复合型技能，要求实施SEO策略的团队，既对网站代码结构、搜索引擎运行的底层规律烂熟于心，又要对用户需求、内容组织，转化漏斗设计等知识有深入的研究。二者相结合，才可以设计出有效提高网站排名、流量以及最终具有长期转化效果的SEO系统页面。 SEO的内容将如何呈现？ 我们在搜索引擎中搜索一个关键词，搜索引擎返回的内容页面，是由两部分内容构成。分别是： 1、付费投放内容（SEM） 2、免费展示内容 而对于SEO来说，就是通过一系列巧妙、连续、有效的操作，让我们的页面，不花钱即可展示在搜索结果尽可能靠前的位置。下面这张图，就展示了在搜索结果中，哪些是通过SEM付费投放展示的结果，哪些是通过SEO可以免费展示的结果。 SEO的目标，不仅仅是建立对搜索引擎友好的页面，从而获得上佳的排名。同时，SEO也要考虑如何让网页内容更易于被目标用户理解和为目标用户群体提供价值，满足用户需求。 SEO 并不仅仅是建构搜寻引擎友善的网页，SEO可以让网页更容易被人们使用，并且带给人们更多的资讯，我们相信这些是与SEO原则密切相关的。 你为什么需要做SEO？ 网页最主要的免费流量就是来源于各大商业引擎，在国内，主力的搜索引擎为百度、搜狗、神马、360等，而在海外，更多用户会通过Google、Bing、Yahoo！等搜索引擎来访问您的网站。虽然通过微信、微博、抖音等其他社交媒体，也有机会将用户引入您的网站，但是他们的占比和搜索引擎对流量的贡献来说，就显得微不足道了。而这个原则，并不会因为你的网站提供的内容、服务、产品等的不同而有改变。 另外，搜索引擎为网站提供的流量，还天然的带有更好的匹配度，它会将对你的产品有最强烈需求的客户，带你的面前来。人们会通过搜索引擎，尝试找到你说提供的信息和服务，而要达成这个目标的前提，就是你要让你的网页，尽可能的符合搜索引擎所制定的规范，让搜索引擎更容易的将你提供的信息、内容、产品、服务加入到他们的资料库中，这样，用户才可以在搜索引擎上，看到你的信息。 另外，SEO（搜索引擎优化）提供的价值是长期可持续的，它和那些投放类型的营销活动有显著的不同。投放类型的营销，无论是百度的SEM，还是淘宝的直通车，或者是抖音的...
Read more »

观点，大型网站SEO不需要人为进行外链部署

-
图片
昨天和客户开9月的碰头例会。 在会议上，对方的运营VP提到了这么一个问题：要不要帮我们招两个实习生，来做外链部署的工作？很多人都建议我们去做，说这个事情在SEO方面的ROI非常好。 我的回答是：不要，我们不需要去做外链部署的工作，依旧可以保持优秀的SEO结果。 受限于会议时长，在现场我仅仅时候回答了问题，并没有详细的解释为什么客户不需要招聘实习生来做外链部署的工作。今天我就尝试来对这个问题进行一个系统的回答。 首先，在本文中不提倡的外链部署，是指以提高百度或谷歌某个关键词搜索排名或整站权重为目的的下列行为： 购买或出售网站链接，目的是用于提升权重链接； 为他人提供商品或服务来换取链接交换； 向他人发送“免费”产品，以此作为交换来让这些人撰写包含链接的产品评论； 单纯为了建立交叉链接而构建大量的友情链接页面（这就是客户希望实习生做的事情） 在其他网站批量发布包含大量关键字和锚文本的文章营销活动（这也是客户希望实习生做的事情） 使用自动程序或服务创建大量的网站，并在他们上面发布大量链接到主站的链接等等 而我认为这种外链部署对于客户这种超大型的（收录页面超5亿，日UV超数十万）的网站来说，性价比非常低，不值得去做，原因有几点： 客户本身已经是行业Top企业了，在行业相关大词上，客户基本上有80%以上的机会，能够占据搜索结果前三的位置，再进行链接交换对核心词的排名提升作用有限，反而会将自己的高权重传递给其他竞品小网站，得不偿失。 客户入站流量中，70%+的流量为长尾关键词贡献，为海量的长尾关键词去做链接交换是不现实且不具有性价比。 现在的友情链接交换方式，多是以友情链接交换平台或QQ群的形式，有一群人在其中持续的乐此不疲的互换链接，往往一个百度权重2~3的站点上，双向链接数以千计。这样的网站链接交换的质量和能带来的效果几乎可以忽略不计。 批量发布外链，势必会让客户的品牌、产品名称，海量出现在各种各样的网站上，而受限于批量发布外链的求量策略，就有可能有一些站点，细究起来是不适合发布客户相关资讯的，在上面发布信息可能会给品牌、产品、企业带来负面口碑。 从2016年4月15日之后，谷歌就停止了向公众开放PageRank相关数据，这也是谷歌从2010年以来，一直在强调内容价值用户体验方面所做出的持续改进和努力之一。谷歌都不倡导链接交换了，我们为什么还要在这上面投入资源呢？ 对于这种...
Read more »