搜索引擎蜘蛛爬行原理

对于做SEO的人员来讲，收录那必须是第一步，而搜索引擎的收录是从蜘蛛的爬行开始的，这个大家都非常的明确，也许今天再谈这个话题在很多大虾的眼里已经是一个小儿科，可是作为菜鸟的我，我感觉这样的理论知识还要是搞明白的好。

做任何事情不要以为谈理论就是纸上谈兵，当然了，有很多人没有任何的理论也已经成为了SEO高手，可是我感觉，如果再加上适当的理论，也许你会更厉害。

好了，咱们下面就说一说搜索引擎蜘蛛的爬行规则吧。

大家知道，整个互联网是由链接组成的，而蜘蛛就是通过这一些一层又一层的链接来抓取页面内容的，而抓取内容的时候，大致可以分为两种形式，一种是纵向抓取，一种是横向抓取。

纵向抓取原理：

就是当蜘蛛进入一个网站的时候，会沿着一个链接一步一步的深入，直到无法再向前前进的时候再返回爬行另外一个链接。

横向抓取原理：

就是当蜘蛛进入一个网站的时候，在一个页面上发现有很多的链接的时候，不是顺着各各链接进行一步步的纵向抓取，而是把第一层的链接全部抓取完成，再沿第二层链接进行抓取。

无论是蜘蛛进行纵向抓取还是进行横向抓取，只要有足够的时间给蜘蛛，蜘蛛就能爬完整个互联网中的所有网页，呵呵，当然不能是被搜索引擎K过的网站。

我认为，在一个蜘蛛进入站点进，对于内部链接已经是纵向抓取优先，对于外链则是横向抓取，总之一句话，网络蜘蛛抓取页面是纵向原则和横向原则想接合使用的。

好了，今天就写到这里，以后还会发表更多的关于搜索引擎优化原理的文章，希望大家多多关注。