当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站238

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

分析网站关键词优化难度的方法有哪些

分析网站关键词优化难度的方法有哪些

大家都知道正确判断关键字优化难道是网站优化人员必须要掌握的技巧,也是我们给客户报价的依据。如果没有办法判断需要排名的关键字的难易程度。就无从估计这个关键字的价值和需要花费的人力物力。笔者根据自己的经验总结了一下一些基本的参数指标,来考察关键词的竞争程度,希望对大家有所帮助。第一,确认网站核心关键词核...

SEO优化要掌握的代码标签有哪些

SEO优化要掌握的代码标签有哪些

seo优化工作中,需要SEO人员了解一些基础的代码,并能修改使用一些基础代码及代码标签。通过代码修改可以增加搜索引擎收录、提升网站流量的作用。沈阳优就业IT培训整理下seo优化需要掌握的基础标签有哪些。1、TDK标签seo工作常接触的应该就是TDK标签了,TDK分别是Title网站标题、Keywor...

新手不懂SEO优化如何做站内优化?

新手不懂SEO优化如何做站内优化?

我们专注于企业网站优化,十几年来都在不断研究搜索引擎核心算法,帮助了几百上千家企业解决过引流获客难题。关于新手如何做站内优化?其实这个问题,很多小伙伴也咨询过我们。很多人分享的内容可能非常专业,但是对于SEO新手来说可能就没有什么用了,毕竟部分新手可能连SEO的基本逻辑都还没弄懂,一上来可能也只是乱...

谷歌SEO优化:什么是H标签?标题如何影响用户体验

谷歌SEO优化:什么是H标签?标题如何影响用户体验

标题标签(也称为 H 标签或标题标签)是有助于组织您的网站的语义 HTML 元素。它们将内容的小节分开,如果您要撰写较长的文章,这一点尤其重要。例如,在这个博客中,我们使用了几个标题标签——大多数读者会直接跳到他们感兴趣的标题。这就是 H 标签如此重要的主要原因:互联网用户通常不会从头到尾阅读内容。...

网站导航的设计技巧以及在网站优化中的作用

网站导航的设计技巧以及在网站优化中的作用

关于网站导航想必大家都再熟悉不过了,网站导航一般会出现在网站的顶部位置,引导用户更方便快捷地到达相关频道和栏目。为了增加频道的入口和加快频道的收录,也有时候会在页面的底部添加辅导导航。网站导航对于一个网站来说尤为重要,所以我们在设计网站导航时要特别注意,今天笔者就跟大家分享一下网站导航的设计技巧以及...

H1标签对于网站SEO优化来说有什么作用?

H1标签对于网站SEO优化来说有什么作用?

H1标签对于网站SEO优化来说有什么作用?其实H1标在一个网页中有着比较高的权重,你也可以将网页当作一篇文章来看,H1就是文章的标题,文章的内容是根据标题主题定义去编写的。h1标签是一种强调网页html文本标题的标签。标记主要起着强调的作用,告诉搜索引擎这是一段文字的标题,加深了网站和关键词的相关性...