当前位置:首页 > SEO网站 > 正文内容

如何分辨百度搜索引擎爬行蜘蛛IP的真假

admin3年前 (2023-03-06)SEO网站203

导读:作为一名SEOer不仅要知道百度搜素引擎有哪些爬行的爬行IP,而且还要学会分辨真假蜘蛛spider,很多网站和第三方工具会冒充百度的IP地址进行爬行网站,如果只是从IP来分析的话,大多数SEOer会误以为是百度来爬行了,其实并不是百度来了。

在讨论百度蜘蛛话题的时候被讨论最多的就是蜘蛛来的太频繁或者是蜘蛛很久都没来了,蜘蛛抓取太频繁的话会造成服务器爆炸不稳定,所以很多SEOer都想把那些不是真正的蜘蛛IP加入黑名单进行屏蔽掉,但是奈何百度官方平没有公布蜘蛛的IP地址,根据官方的说法是IP不固定,因为采用的是动态IP地址库,所以每次访问的IP都不是同一个(博主之前发布的百度蜘蛛IP大全是其他站长进行反复测试得出来的结果,并未官方发布的IP地址)。

如果蜘蛛爬行抓取的周期慢,或者长期不来的话又会对网站的收录排名产生影响,所以很多SEOer在屏蔽那些假蜘蛛IP的时候经常会误把真蜘蛛当成假蜘蛛给屏蔽掉,所以就造成了蜘蛛无法抓取的原因,下面博主就给大家介绍几种分辨百度真假蜘蛛IP的方法。

查看UA信息

查看UA信息,UA信息是蜘蛛爬行后留下的签名信息,百度虽然没有公布过蜘蛛的IP地址,但是公布过蜘蛛的UA信息,如果UA信息和百度公布的相同,那么久代表是真蜘蛛来过,反之则是假蜘蛛。

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

把你的网站日志下载下来,通过记事本的方式打开,把百度的UA信息复制一下,然后再日志信息里面使用CTRL+F调出查找工具,把复制的UA信息粘贴进去进行查找,如果找到对应的UA信息那就代表是真蜘蛛来过,如果没找到则代表真蜘蛛没来过。

DNS反查IP

通过DNS反查IP指的是根据蜘蛛留下来的IP地址去反查对方IP的信息,如果是百度的真蜘蛛,那么反查的IP名称(hostname)就会是以*.http://baidu.com*.http://baidu.jp的格式命名,非 *.http://baidu.com 或 *.http://baidu.jp 即为冒充。而且还会出现baiduspider的字样(如下方百度官方给出的参考)。

通过DNS反查IP用的是一种代码指令,不同的操作平台使用的指令也是不同的,比如:linux、windows、Mac OS这三个操作平台,使用的指令为host、nslookup、dig,查询的格式为:host ip(ip=ip地址)、nslookupip(ip=ip地址)、digip(ip=ip地址)。例如:host http://220.181.XXX.XXX 或 nslookup http://220.181.XXX.XXX 或 dig host http://220.181.XXX.XXX

Windows通过DNS反查IP

下面是博主使用DNS反查IP的过程,博主使用的电脑系统是Windows 7,所以使用的查询命令为nslookup。

第一步:使用win+R打开调出运行窗口,输入CMD进入管理界面。

第二步:输入nslookup+ip,按回车键后就可以看到对应的IP信息

说明:因为博主的电脑没有设置反向查询,使用nslookp查询的时候会返回服务器Unkown,所以查询IP的时候要先更换本地DNS的IP地址。

站长工具-百度真假蜘蛛查询

如果你不想一条一条的去查,那么你还可以使用站长工具里面的百度真假蜘蛛查询工具,虽然这不是官方给出的查询方法,但是也可以做一个参考,站长工具里面的真假蜘蛛查询每次可批量查询20个IP地址,比起单个查询的效率要高一点。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=19337

分享给朋友:

“如何分辨百度搜索引擎爬行蜘蛛IP的真假” 的相关文章

酒店自主网站的seo优化方式中,有哪些是过时的?

酒店自主网站的seo优化方式中,有哪些是过时的?

酒店管理郑叫兽今天给大家分享:上篇文章讲述了酒店网站类型大致分类两类,一类是自主网站,通常也就是酒店自己的官网,另一类就是第三方代理网站,例如:携程、飞猪、驴妈妈等。一般,第三方代理网站,都有自己一套明确排名规则,例如评分和指数,所以酒店在优化自身在这些代理网站的排名时,有一定显性的规则可遵循。但是...

再谈为网站选择关键词的技巧与操作手法

再谈为网站选择关键词的技巧与操作手法

随着百度,谷歌等搜索引擎的日益强大,搜索优化的日趋成熟,网站的搜索推广也变得越来越难。为网站选择合适的关键词就成了我们做好网站推广的重中之重,今天笔者就跟大家分享一下为网站选择关键词的技巧与操作手法,希望对大家有所帮助。第一、选择的关键字要和网站相关就是网站关键词的相关性,在选择关键词时要根据网站自...

如何让企业网站排名脱颖而出

如何让企业网站排名脱颖而出

大家都知道我们在做网站推广时需要一个积累的过程,作为一个站点,经过百度的考核、权重的积累、然后达到一个排名的理想位置这个是很多站长朋友梦寐以求的。但是很多时候我们往往事与愿违,今天笔者就跟大家分享一下如何让企业网站排名脱颖而出,希望对大家有所帮助。第一:做好网站基础优化笔者认为要想使企业网站的排名脱...

有大量未收录的文章会不会对关键词排名有影响

有大量未收录的文章会不会对关键词排名有影响

问题:有大量未收录的文章会不会对关键词排名有影响?回答:可以肯定,网站有大量未收录的文章对SEO有不好的影响!因为如果页面收录的比例很低,就意味着网站大部分内容是不合格的,这就直接影响到搜索引擎对于网站的评价,进而降低网站权重,减少展现等。大家要多去看看搜索引擎工作原理,了解搜索引擎的工作机制,这样...

SEO优化中description标签有什么用处,使用有何技巧?

SEO优化中description标签有什么用处,使用有何技巧?

原标题:SEO优化中description标签有什么用处,使用有何技巧?SEO优化中description标签有什么用处?网站优化过程中,TDK标签设置是一个很基础和很重要的工作,TDK标签包括title(标题)、keywords(关键词)、description(描述)这三个标签,今天我们主要来聊...

网站被黑后正确处理的方法和技巧有哪些?

网站被黑后正确处理的方法和技巧有哪些?

大家都知道百度搜索引擎在每周和每个月都有一个固定的更新时间,在更新期间网站会遇到各种各样的问题,比如网站被黑。很多新手站长都遭遇过网站被黑客攻击的事情,很多人当遇到这样的问题的时候,不知道怎么解决,弄的焦头烂额的。今天笔者就跟大家分享一下网站被黑后正确处理的方法和技巧,以降低网站被K站或者降权的风险...