常见的五种蜘蛛陷阱是什么(蜘蛛陷阱是什么)

庆瑞seo博客1年前网站优化205

共计 1025 个字符,预计需要花费 3 分钟才能阅读完成。

蜘蛛陷阱是什么

在 SEO 工作中,SEO 人员每天都在与内容和链接打交道,从目前来看,他们深知独立的原创内容,对于未来站点长期发展的重要性,但这一切的开始,都有一个前提,那就是避免产生“ 蜘蛛陷阱 ”。那么什么是蜘蛛陷阱?

“蜘蛛陷阱”是什么?

“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物,一些网站设计技术对搜索引擎说很不友好,不利于蜘蛛爬行和抓取,这些技术被称为蜘蛛陷阱。最大的特点是当蜘蛛抓取某个特定 URL 的时候,它便进入了无限循环,只有入口,没有出口。

常见的“蜘蛛陷阱”有哪些:

1、站内搜索

这是一个常见且容易造成“蜘蛛陷阱”的地方,当你试图在站内搜索某些特定关键词的时候,如果类似 search.php?q= 这样的 URL 地址被搜索引擎抓取与收录,那么很可能产生大量无意义的搜索结果页面。

解决:你可以通过 Robots.txt 这个文件,屏蔽动态参数。

2、电商产品

如果你以往有过操作电商网站的经历,那么你会遇到产品 SKU 的多样性的问题,同一个主题内容,会根据 SKU 的不同,产生多个 URL,造成大量的内容重复页面,这也导致严重浪费蜘蛛抓取频率。

当然,还有一种特殊的“蜘蛛陷阱”与电商产品页面类似,就是动态的内容插入,这也往往导致蜘蛛陷入温柔的陷阱。

解决:确保 URL 的规范性,你可以试图利用 rel=canonical 这个标签来解决类似问题。

3、Flash 网站

为了满足用户的视觉体验,建站公司通常会使用 Flash 网站,给用户搭建企业官网,这样看起来非常美观,但由于目前搜索引擎并不能很好的抓取与识别 flash 内容,往往导致站点排名很难提升。

解决:不要做整站 flash,尽量将 flash 嵌入网页内容的一部分。

4、限制性内容

对于一些站点,出去吸引粉丝的目的,很多内容只有登录才能查看,特别是一些强制 cookie 的操作,这诱导与欺骗了蜘蛛,它很难识别内容,并且不断的尝试抓取这个 URL。

解决:针对网站建设,尽量避免采用这种策略,去吸引用户。

如何识别“蜘蛛陷阱”

对于识别蜘蛛陷阱的方法,特别容易,你只需要通过如下内容:

① 网站日志:利用工具读取当日蜘蛛抓取 URL 的内容,如果发现特殊的 URL 地址,那么值得进一步关注。

② 抓取频率:查看百度搜索资源平台中抓取频率,如果某一天数值特别大,那么很可能陷入蜘蛛陷阱。

总结:常被讨论的蜘蛛陷阱还有网站框架、sessionid、各类跳转,本文只简单讲述了实际应用中常遇到的蜘蛛陷阱,仅供参考。

以上就是蜘蛛陷阱是什么的详细内容,更多请关注王尘宇博客其它相关文章!

标签: 蜘蛛陷阱
备案号:豫ICP备19030587号

相关文章

做网站该注意哪些基本要素

做网站该注意哪些基本要素

共计 915 个字符,预计需要花费 3 分钟才能阅读完成。 做网站该注意基本要素有以下几点。设计与内容指南 网站应具有清晰的层次结构和文本链接。每个网页应至少可以通过一个静态文本链接打开。文本...

电商网站基本模块网页标题描写方法!

共计 898 个字符,预计需要花费 3 分钟才能阅读完成。 一、什么是 网页标题在浏览一个网页时,通过浏览器顶端的蓝色显示条出现的信息就是“网页标题”。如下图所示。网页标题就是整个网页的题目...

网站返回503是什么意思

网站返回503是什么意思

共计 423 个字符,预计需要花费 2 分钟才能阅读完成。 当客户端向服务端发送一个请求的时候,服务器端会给出一个响应,然后返回一个 http状态码 ,当然这个状态码有很多种,503 也是其中的...

seo推广是什么意思呢

seo推广是什么意思呢

共计 1123 个字符,预计需要花费 3 分钟才能阅读完成。 相关学习推荐:网站建设教程seo 推广 其实可以拆分为 seo 和推广两个关键词,它是利用 seo 方法、思维来做推广的一种网络营...

SEO是什么?从内容出发低成本获取更多流量

SEO是什么?从内容出发低成本获取更多流量

共计 929 个字符,预计需要花费 3 分钟才能阅读完成。 seo 是什么意思?SEO 是搜索引擎优化,它被翻译为搜索引擎优化。它是使用搜索引擎规则来改善搜索引擎中网站的自然排名。目的是使其在行...

如何建立有价值的外链?

如何建立有价值的外链?

共计 1078 个字符,预计需要花费 3 分钟才能阅读完成。 现在我们做外部链更多的讨论是如何做网站内容,事实上,这是一个积极的体现,只有每个网站不断创建高质量的内容,整个搜索引擎会更有价值,但...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。