如何优化网站结构更利于搜索引擎蜘蛛抓取？
1.平面结构或树形结构
说到网站结构，大家都会提到平面结构和树形结构，必须称之为“平面结构”。这些是指物理结构，即基于内容聚合由目录和文件位置确定的结构。其实，对于百度搜索引擎来说，只要结构合理、逻辑合理，内容可以遵循规则，都是友好的。
2.链接结构优化：
相对于物理结构，我们应该谈谈逻辑结构：即内部链接形成的链接结构，而逻辑结构是搜索引擎最关心的。对于一个网站来说，一个网页只能一层一层地通过首页目录1目录2是远远不够的。一个好的连接结构应该是网状的。
通过导航让百度更好的了解网站。对于用户来说，导航要解决的问题是：我在网站的哪里，我想在哪里看到更多的内容进入上层，甚至是上层；对于spider来说，导航要解决的问题是：这个页面属于哪个字段，要表达什么主题。因此，一个清晰的导航系统不仅有助于提高用户体验，而且对SEO具有重要意义。所有SEO优秀的网站基本上都有清晰的导航。
导航内容搜索引擎可见：网站的导航对用户来说美观友好，但对百度来说是看不见的。目前，百度不能做所有的JS和flash。为了安全起见，尽量使用HTML。虽然图片很漂亮，但作为导航对搜索引擎也不友好。
导航稳定性：导航内容要相对固定，不要让导航变成“滚动条”。
重要的网页在导航中可以尽量跟随：百度认为主导航中的链接仅次于网站首页，所以我们应该尽量为站内的网页在主导航中安排一个位置。当然，不可能把太多的内容放在主导航上，哪些链接可以放在主导航上也需要SEO人员来平衡。
巧妙运用面包屑导航：如上所述，导航解决了用户“查找一级，甚至多查找一级内容”的问题。此导航是指面包屑导航。面包屑导航可以使结构复杂的大中型网站变得清晰、轻巧。当spider解析页面时，它将关注breadcrumb导航内容。强烈建议使用它。
合理的域名结构除了网站建设外，站长们会考虑是否使用二级域名或子目录，在网站运营的过程中，也会考虑是否将子目录的内容分割成二级域名。因为很多SEO工作人员认为二级域名是相对独立的，它的首页会得到百度的关注，可以得到更好的排名——其实这是一种片面的错误观点，百度会通过很多指标来判断二级域名和同一个域下的子目录的重要性，不要武断地认为谁天生比谁强。
当SEO认为网站的结构阻碍了网站的快速发展时，会考虑修改。比较常见的修改是将子目录移出主站点，形成一个单独的辅助域名。但我们都知道改版肯定会影响网站的排名和流量，一定要小心。那么，在什么情况下，您真的需要将子目录更改为辅助域名？其实，只有一点：即子目录的内容足够丰富，而主域的主题关联性不强！
如何优化网站结构更利于搜索引擎蜘蛛抓取？
3、 URL结构优化也是非常重要的，要尽量简短
URL结构的规范化：同一个网页有不同的URL，会导致多个URL同时被用户推荐，导致权重分散；同时，百度最终选择显示的网址可能达不到你的预期。网站应该尽量不要把不必要的内容，如会话ID和统计代码的网址。如果必须这样做，你可以禁止百度通过机器人抓取这些非标准网址
用户从URL来判断网页内容，方便蜘蛛在用户间解析和传播
URL规范化是指搜索引擎选择最合适的URL作为真实URL的过程。例如，当您不进行任何设置时，一个新网站实际上会有四个URL，例如：
如果我们必须使用不同的域名来显示相同的内容，我们可以使用rel=“canonical”标记来添加上述内容。
动态参数不宜太多太复杂。目前，百度对动态URL有很好的处理，但是参数太多太复杂的URL可能会因为不重要而被蜘蛛抛弃。
4、 网站地图
网站地图是一种方便的服务，网站管理员通知搜索引擎在他们的网站上可用的网页。这有点像博客的RSS功能。如果每个人（互联网上的所有信息源）都这样提交自己的更新，搜索引擎就不必再四处发送那么多爬虫，任何网站只要有更新，都会自动“通知”搜索引擎，方便搜索引擎索引。
站点地图文件通常是XML格式，格式相对简单。站点地图协议以开始标记开始，以结束标记结束。每个URL都包含一个条目作为父标记。每个父标记都包含一个子标记条目。是web文件的网址。此URL应以HTTP开头，并且少于2048个字符。表示上次修改文件的日期。此日期允许您删除时间部分，例如yyyy-mm-dd。
5、 使用nofollow
Nofollow标签是由Google牵头新创建的一个标签，其目的是尽量减少垃圾链接对搜索引擎的影响，减少博客上的垃圾信息。目前，百度、谷歌、雅虎和微软都支持这个标签。当超链接标签出现在超链接中时，搜索引擎将不考虑这些链接的权重，也不使用这些链接进行排序。推荐阅读：将nofollow添加到WordPress的WP pagenavi插件中
Nofollow标签通常有两种用法：
需要注意的是，如果一个网站链接到一些被搜索引擎视为垃圾网站的地址，网站的权重也会受到影响。因此，为了安全起见，所有可能由第三方提交的超链接都应该标记为nofollow。
6、 合理使用相关物品
对于新手来说，在建立一个网站时，添加大量的标签很容易犯错误。这样做的目的是增加相关文章的数量。我们知道相关文章对SEO优化和用户都有很大的好处，但是很多不相关的文章进入了相关文章的列表，而且在搜索同一个标签时重复的文章太多，导致标签对用户体验毫无意义。相关的文章推荐可以手动推荐，也可以使用百度的站点推荐，建议使用手动推荐，虽然麻烦，但是效果不错。
