当前位置:首页 > SEO知识 > 正文内容

做网站推广时如何快速辨别真假百度蜘蛛

admin4年前 (2022-07-26)SEO知识813

我们在做网站推广时都比较关注百度蜘蛛的抓取情况,很多网站运营人员都知道经常查看网站日志来分析自己网站百度蜘蛛是否正常抓取、哪些访客访问了什么内容等。

但是,在网站运营中会有很多假百度蜘蛛不断爬取网站的内容,其实这些假百度蜘蛛相当于恶意IP,严重者会被百度判定为网站被黑。

跟大家分享一下如果快速辨别真假百度蜘蛛,希望对大家有所帮助。

方法一:查看UA信息

如果UA信息不对,可以直接判断该蜘蛛为非百度搜索的蜘蛛。

目前UA分为移动、PC、和小程序三个应用场景,分别如下:

【移动UA】

1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 

【PC UA】

1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

【小程序UA】

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

方法二:双向DNS解析认证

虽然通过方法一可以直观分辨出真假百度蜘蛛,但是有的假百度蜘蛛也会伪装UA信息,这时就需要通过双向DNS解析认证可以最终辨别真假百度蜘蛛。

第一步:DNS反查IP

开发者可以对日志中访问服务器的IP地址进行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

在Linux/Windows/OS三种平台下,验证方法分别如下:

1) 在Linux平台下,可以使用host IP命令反解IP来判断该抓取是否来自Baiduspider。

2) 在Windows平台或者IBM OS/2平台下,可以使用nslookup IP命令反解IP:打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。

3) 在macOS平台下,可以使用dig命令反解IP:打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判断该抓取是否来自Baiduspider。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

方法三:可以借助站长工具中的“百度真假蜘蛛”工具直接验证

笔者一般是使用https://stool.chinaz.com/baiduspider这个工具来验证,比较方便,直接输入IP地址就可以。

总之,我们在做网站推广时一定要注意分辨假的百度蜘蛛,及时屏蔽,以免给网站排名造成影响。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=3043

分享给朋友:

“做网站推广时如何快速辨别真假百度蜘蛛” 的相关文章

SEO关键词布局的重要性

SEO关键词布局的重要性

关键词布局,艾修一个成熟的网站,会根据关键词优化难度分配到不同的页面上,依次为首页、栏目页、专题页(或聚合页)、文章页面等。若关键词布局有问题,则可能优化许久都没有排名,此时要认真分析关键词是否难度过大,是否需要重新分配关键词。当然,这需要几个月、甚至一年时间来判断,不要因为没有排名而乱修改关键词。...

小白学习SEO的方法xooooo

小白学习SEO的方法xooooo

怎么学习SEO,学习SEO的方法有很多种!不管是小白还是我们的经验丰富的站长,都需要不断学习,学习SEO的目的取决于我们想要达成的目标,如果我们只是出于爱好,简单的SEO只是配上SEO内容管理软件就可以完全够用。如果我们将SEO作为一项工作或有更好的兴趣深入了解,我们就要有一个SEO学习的方法。学习...

SEO入门指南

SEO入门指南

获得更多流量是所有独立站卖家的共同追求,你是否也想掌握电商搜索引擎优化的方法,为你的独立站带来更多自然流量?但是面对搜索引擎运算法则的不断更新和复杂的行业术语,通常很难完全掌握搜索引擎优化的方方面面。这篇新手指南包含关键词研究,网站结构和组织,以及页面搜索引擎优化,能快速带你从新手入门。一、电子商务...

如何做好网站首页的设计和优化

如何做好网站首页的设计和优化

大家都知道网站首页对一个网站的重要作用,设计一个高度大气上档次的网站首页可以为网站增色不少。尤其是网站的首页作为引导用户浏览网站的其他页面在网站优化过程中及其重要,首页是我们整个网站的门面,是用户访问的第一个页面,做好首页的优化能极大的提高用户体验,所以做好网站首页的设计和优化就显得十分重要。第一、...

SEO技术服务赚钱的方法有哪些

SEO技术服务赚钱的方法有哪些

  SEO作为一个行业独立出来,代表它需要专业技能才能做好,因此在这个行业中经过多年积累掌握了大量实操经验、资源以及思维的专业人士便可以利用手中的技能来为有需求的企业服务。       一般有两种方式,一种是提供单关键词的服务、软文写作代发服务、外链代发服务等...

SEO网站优化的常规策略你知道几个

SEO网站优化的常规策略你知道几个

在对站点执行SEO优化之初,拟定一个详细完整、科学合理的优化策略,是一种不可或缺的工作。在执行操作过程中,优化策略可以当做开展工作的参考和根据。如此一来,可以为实现引擎搜索优化工作奠定较好的根本。归纳网站seo的对策,首要有以下几个方面。1.关键词策略让引擎搜索可以爬取的网站域名、标题标签、meta...