怎么避免蜘蛛陷阱的发生(怎么避免蜘蛛陷阱)
共计 976 个字符,预计需要花费 3 分钟才能阅读完成。
从事 SEOer 都知道,搜索引擎喜欢的网站结构是 树状结构。树状结构符合人们对知识的归 类习惯。
搜索引擎的数据库可以类比为一个超级图书馆,每个网站相当于这个超级图书馆某阅览室里的一个小书架。搜索引擎希望每个书架上的“书”——知识、信息,都有序地摆放,以方便用户查阅,但其实搜索引擎数据库在本质上就是一个大图书馆,他们每天在做的工作和图书馆管理员的工作有很多类似的地方。只是搜索引擎把工作重点放在:把读者可能会喜欢的书,放在显眼的位置。
有些网站设计技术对搜索引擎来说很不友好,不利于蜘蛛爬行和抓取,这些技术被称为蜘蛛陷阱常见的蜘蛛陷阱包括如下这些。
1. FIashI 在网页的某一小部分使用 Flash 增强视觉效果是很正常的,比如一些广告图片等。这些小部分的对搜索引擎抓取和收录没有影响,但是有的网站整个首页就是一个大的 Flash 文件,这就不利于搜索引擎友好性,这就构成了蜘蛛陷阱
整个网站就是一个大 Flash 文件,从 SEO 角度来说是万万不可的。如果为了效果必须要添加,至少也需要在首页加上一个通往 HTML 版本的链接,搜索引擎跟踪这个链接可以抓取后面的 HTML 版本页面
2. 各种跳转现在搜索引擎对其他形式的跳转都比较敏感,如 302 跳转、Flash 跳转、JavaScript 跳转、Meta Refresh 跳转
有些网站用户访问首页时会被自动转向到某个目录的页面,这样的转向看不出任何理由和目的,都对蜘蛛爬行不利。所以除非万不得已,尽量不要使用 301 转向以外的跳转。
3. 框架结构使用框架结构设计页面,在网站初期曾经流行,不过现在的网站已经很少使用框架了,不利于搜索引擎抓取。访问一个使用了框架的网站。它只能包含其他 HTML 文件的代码,并不包含任何文字信息,搜索引擎根本无法判断这个网站是什么内容。所以不要使用框架结构
4. 动态 URL 一般来说动态 URL 不利于搜索引擎蜘蛛爬行,应该尽量避免。
5. 要求登录有些网站内容放在需要用户登录之后才能看到的会员区域,这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码,也不会注册。
6. 强制使用 cookies 有些网站为了实现某种功能,如记住用户登录信息、跟踪用户访问路径等,强制用户使用 cookies, 用户浏览器如果不使用,页面显示不正常。搜索引擎蜘蛛就相当于一个禁用了 cookies 的浏览器,如果强制使用,就只能造成搜索引擎蜘蛛无法正常访问。