当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin4年前 (2023-02-19)SEO网站415

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

刷点击优化中的常见误区分析,关键词点击排名软件

刷点击优化中的常见误区分析,关键词点击排名软件

刷点击优化中的常见误区分析! 一个新生事物的出现,必定会引起相关反应。刷点击的出现,相应地带动刷点击的出现,各种相应的对策方法也层出不穷。可是,学好刷点击优化的理论教程就能做好刷点击优化吗?那不见得,因为网络是千变万化的,百度、谷歌等排名的算法也时常变化。那么,对于刷点击,存在哪些误区呢?...

SEO必须知道的9个HTML标签

SEO必须知道的9个HTML标签

HTML是构成大多数网页基础的标记语言。它可以说是技术SEO的最基本部分之一。使用HTML标签,SEO专业人员能够将有关页面的信息传达给用户和搜索机器人。这可以帮助阐明页面上内容的重要性,性质和顺序,以及与其他网页的关系。我们这里会对良好SEO至关重要的关键HTML标签和属性进行解释,了解它们的用途...

seo经验篇1:nofollow标签的作用有重大变化

seo经验篇1:nofollow标签的作用有重大变化

nofollow标签的历史经典的nofollow标签作用和使用方法以前的帖子写过,详情读者可以参考以前帖子。nofollow标签(准确说是属性,不过约定俗成,还是叫标签吧)是G和Ya等搜索引擎2005年推出的,目的是告诉搜索引擎不要跟踪加了nofollow的链接,不要传递链接权重,不要在搜索算法中计...

网站优化排名名的机制是什么?搜索引擎是如何评估一个网站的内容质量

网站优化排名名的机制是什么?搜索引擎是如何评估一个网站的内容质量

搜索引擎优化(SEO)排名的机制通常是由搜索引擎算法控制的。搜索引擎会根据网站的内容、结构、链接和其他因素来决定排名顺序,其中一些重要的因素包括:内容质量:搜索引擎会评估网站的内容质量,包括内容的相关性、质量、原创性和实用性。搜索引擎倾向于将高质量、有用的内容排名较高。关键词使用:搜索引擎会评估网站...

哪些原因导致用户想尽快离开你的网站

哪些原因导致用户想尽快离开你的网站

如果想让我们的网站获得成功,获得用户的认可,让用户在你的网站有个愉快的体验必不可少。并且现在随着搜索引擎算法的调整,用户体验越来越受到重视。一个网站已经不仅仅靠发外链就可以得到排名,我们更要重视的是用户体验度,用户是否真的对网站感兴趣才是我们应当追求的。今天笔者就跟大家分析一下哪些原因导致用户想尽快...

怎样才能使网站快照经常更新

怎样才能使网站快照经常更新

大家都知道百度快照给网站带来的影响很多,所谓百度快照就是网站被百度蜘蛛爬行后在搜索引擎数据库中留下数据,当判断收录的内容达到用户要求质量时,网站的快照才会被释放出来,而快照的时候很多时候都是最初的爬行时间。所以快照影响网站的收录,是衡量网站质量和权重的标准之一,也是百度蜘蛛是否经常爬行网站的一个很好...