共计 1005 个字符，预计需要花费 3 分钟才能阅读完成。

前面给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。要有简单明了的网站结构、简洁美观的 url 规则和其他一些注意事项。

 

编者按：前面给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。

1、简单明了的网站结构

Spider 抓取相当于对 web 这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证 spider 的可读性。

（1）树型结构最优的结构即“首页—频道—详情页”；

（2）扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重。

（3）网状保证每个页面都至少有一个文本链接指向，可以使网站尽可能全面的被抓取收录，内链建设同样对排序能够产生积极作用。

（4）导航为每个页面加一个导航方便用户知晓所在路径。

（5）子域与目录的选择相信有大批的站长对此有疑问，在我们看来，当内容较少并且内容相关度较高时建议以目录形式来实现，有利于权重的继承与收敛；当内容量较多并且与主站相关度略差时建议再以子域的形式来实现。

2、简洁美观的 url 规则

（1）唯一性网站中同一内容页只与唯一一个 url 相对应，过多形式的 url 将分散该页面的权重，并且目标 url 在系统中有被滤重的风险；

（2）简洁性动态参数尽量少，保证 url 尽量短；

（3）美观性使得用户及机器能够通过 url 即可判断出页面内容的主旨；

我们推荐如下形式的 url：url 尽量短且易读使得用户能够快速理解，例如使用拼音作为目录名称；同一内容在系统中只产生唯一的 url 与之对应，去掉无意义的参数；如果无法保证 url 的唯一性，尽量使不同形式的 url301 到目标 url；防止用户输错的备用域名 301 至主域名。

3、其他注意事项

（1）不要忽略倒霉的 robots 文件，默认情况下部分系统 robots 是封禁搜索引擎抓取的，当网站建立后及时查看并书写合适的 robots 文件，网站日常维护过程中也要注意定期检查；

（2）建立网站 sitemap 文件、死链文件，并及时通过百度站长平台进行提交；

（3）部分电商网站存在地域跳转问题，有货无货建议统一做成一个页面，在页面中标识有无货即可，不要此地区无货即返回一个无效页面，由于 spider 出口的有限性将造成正常页面无法收录。

（4）合理利用站长平台提供的 robots、sitemap、索引量、抓取压力、死链提交、网站改版等工具。