当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin2年前 (2023-02-19)SEO网站206

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

网站运营入门之网站空间选择方法和技巧

网站运营入门之网站空间选择方法和技巧

我们在做网站运营时很多时候会忽略网站空间这一因素,尤其是新手站长朋友。对于一个网站来说空间是我们做好网站运营的前提,一个稳定、访问速度快的空间对于日后做网站所起到的推动作用不言而喻。今天就跟大家分享一下网站运营入门之网站空间选择方法和技巧,希望对大家有所帮助。其实,我们在为网站选择空间主机的时候不要...

站内SEO优化有什么用?站内SEO优化做好了后能让网站快速排名

站内SEO优化有什么用?站内SEO优化做好了后能让网站快速排名

原标题:站内SEO优化-网站SEO站内优化内容技巧-站内SEO优化工具免费站内SEO优化,什么是站内SEO优化。站内SEO优化有什么用?站内SEO优化做好了后能让网站快速排名。站内SEO优化做网站优化要晓得搜索引擎指数原理,做了这么多年的网站优化,我仿佛觉得做网站SEO挺简单的,为什么这么说,站内S...

做SEO关键词优化推广要多少钱?

做SEO关键词优化推广要多少钱?

SEO(搜索引擎优化)是一种通过优化网站内容和结构来提高网站在搜索引擎中排名的技术。关键词推广是SEO的一部分。通过优化关键词,可以提高网站在搜索引擎中的排名,从而吸引更多的流量。那么,SEO关键词进行推广发展需要多少钱呢?这个社会问题研究并没有形成一个企业固定的答案,因为SEO的价格因地区、行业、...

SEO优化要掌握的代码标签有哪些

SEO优化要掌握的代码标签有哪些

seo优化工作中,需要SEO人员了解一些基础的代码,并能修改使用一些基础代码及代码标签。通过代码修改可以增加搜索引擎收录、提升网站流量的作用。沈阳优就业IT培训整理下seo优化需要掌握的基础标签有哪些。1、TDK标签seo工作常接触的应该就是TDK标签了,TDK分别是Title网站标题、Keywor...

国外9个SEO学习最佳在线资源

国外9个SEO学习最佳在线资源

1、Moz(曾用名:SEOMoz)Moz的 SEO Beginner’sGuide是一个SEO入门非常好的资源,Moz的开源社区提供了全面的SEO资源可以帮助我们很好的学习SEO的方方面面。获得其他增值服务需要开通Moz付费专业版,但是Moz的博客和免费的SEM指南对SEO或者初学者来讲已经足够。m...

SEOer怎样规划好本身网站seo优化流程

SEOer怎样规划好本身网站seo优化流程

1、seo网站优化操作步骤流程分三步走,第一步做小红帽蜘蛛池网站优化确诊剖析,当今网站优化不够的地区,根据网站基本确诊找到;第二步依据网站诊断汇报撰写seo优化方案,seo优化方案目地是为了更好地处理优化不够的难题;第三步网站内部和站外seo实践活动实际操作,用站內外seo优化提高网站域名信任感和网...