当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin4年前 (2023-02-19)SEO网站380

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

利于SEO优化的标签有哪些?

利于SEO优化的标签有哪些?

网站代码中存在一些不容忽视的标签,这些标签对于网站的发展至关重要,不仅利于增加网站权重,还可以提升关键词排名。那么大家都知道有哪些标签吗?下面湖南长沙网站建设—雅玛网络小编主要谈谈利于SEO优化的四大标签。H标签H标签包括H1—H6这六个标签,其中H1标签最能体现文章标题大小字号属性,当我们建设网站...

SEO优化:网页设计中这些标签必不可少

SEO优化:网页设计中这些标签必不可少

随着互联网的发展,企业对网络也越来越看重,很多企业甚至于把营销重点放在网络上,但是他们对网络的了解很片面,建设一个网站也只是为了赶潮流,能吹嘘自己有网站。 这种情况不少见,很多企业为了让自己的网站看起来高大上,会要求把网站制作成五彩缤纷的炫酷网站,花大钱制作一个精美的展...

百度正在暴力截流,SEO还有用吗

百度正在暴力截流,SEO还有用吗

大家应该发现了百度排名效果变得越来越差,取而代之的是百度系的产品,这正是平台暴力截流的一种手段。毕竟自己的流量何必要留给别人白嫖呢,那就自己干吧。你想在我这里做生意就到百家号、爱采购这里付费租个门店。如果效果不好,还可以花钱跟我采买些流量,总之运营推广一条龙服务通通都能搞定。所以,那些只靠几个核心关...

SEO代码优化之img图片标签

SEO代码优化之img图片标签

在网站的页面中,图片是重要的组成元素之一,所以,对网站img图片进行SEO优化,不仅有利于用户的浏览体验提升,也有利于搜索引擎蜘蛛的抓取识别,还可以丰富页面的内容,提升页面得分,有利于网页的关键词排名。1、从代码的角度分析img图片标签搜索引擎蜘蛛抓取的时候,主要就是看代码的,在代码中,图片标签是这...

大连网络优化,企业做网站seo还有必要吗?

大连网络优化,企业做网站seo还有必要吗?

如今是网络时代,企业做网络推广在所难免,但如今推广的渠道众多,企业还有必要做企业官网seo吗?对于这个问题,我们有自己的见解,希望可以对有这个疑惑的企业有帮助。1.企业网站的优势首先我们谈论企业做网站seo的优势有哪些:①成本较低说做seo成本低,有很多朋友并不认同,如果自己做seo需要雇佣seoe...

HTML5中的meta标签到底是什么

HTML5中的meta标签到底是什么

做响应式网站的时候,我们经常看到什么HTML5黑科技,独特的meta标签独得搜索引擎喜爱,收录快之类的宣传语,不少用户都是云里雾里。其实这个HTML5中的meta标签到底是何方神圣,为什么直接影响网站优化?今天给大家解答一下。Meta标签的解释Meta标签用来描述一个HTML网页文档的属性,例如作者...