robots.txt的写法

庆瑞seo博客2年前网站优化411

共计 595 个字符,预计需要花费 2 分钟才能阅读完成。

robots.txt 的写法是做 seo 的人员必须知道的(什么是 robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。

百度蜘蛛是一机器,它只认识数字、字母和汉字,而其中 robots.txt 就是最重要也是最开始和百度“对话”的内容。

robots.txt 的写法

当我们的网站在没有建好的时候,我们不希望百度来抓取我们的网站,往往有人会禁止百度来抓取。但是,这种做法是非常不好的,这样会让百度蜘蛛很难再来到你的网站了。所以,我们必须现在本地搭建网站,等一切都搞好以后,再去买域名、空间,要不,一个网站的反复修改,会对你的网站有一定的不利影响。

我们的网站起初的 robots.txt 写法如下:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent: * 的意思是,允许所以引擎抓取。

而 Disallow: /wp-admin/ 和 Disallow: /wp-includes/,则是禁止百度抓取我们的隐私,包括用户密码、数据库等。这样的写法既保护了我们的隐私,也让百度蜘蛛的抓取最大化。

如果,你想禁止百度蜘蛛抓取某一个页面,比如 123.html,那就加一句代码“Disallow: /123.html/”即可。

robots.txt 写好后,只需要上传到网站的根目录下即可。

以上就是 robots.txt 的写法的详细内容,更多请关注王尘宇博客其它相关文章!

标签: seo
备案号:豫ICP备19030587号

相关文章

什么是关键词与长尾词(什么是关键词价值)

什么是关键词与长尾词(什么是关键词价值)

共计 394 个字符,预计需要花费 1 分钟才能阅读完成。 笔者在这篇文章里想跟大家谈谈什么是 关键词 的价值。正在学习 seo 和感兴趣的朋友了解一下。大家都知道,做网站,最后的结果就是引...

淘宝SEO是什么?

淘宝SEO是什么?

共计 2197 个字符,预计需要花费 6 分钟才能阅读完成。 我们先了解 seo 这个词,SEO 也叫搜索引擎优化,是针对搜索规律进行优化的一种排名技术!百度 谷歌 雅虎都是搜索引擎,都有各自的...

seo为什么如此廉价呢(seo为什么如此廉价)

seo为什么如此廉价呢(seo为什么如此廉价)

共计 470 个字符,预计需要花费 2 分钟才能阅读完成。 很多人抱怨 seoer 们的工资特别低,接了 seo 的单价格也是低,就问疑问:seo 为什么如此的廉价? 我们不妨来先看下面几点:...

博客优化不要怕 三大秘诀传给你

共计 804 个字符,预计需要花费 3 分钟才能阅读完成。 我们这里是搜丐 seo,经过这一段时间的观察,发现搜索引擎出现了变动,导致一些站长不得不使用一些另类的方法,而博客的搜索引擎优化又是...

【SEO优化】如何让网站排名有所突破?

【SEO优化】如何让网站排名有所突破?

共计 924 个字符,预计需要花费 3 分钟才能阅读完成。 seo工作者经常会遇到一个问题,那就是辛辛苦苦将 网站排名 做到 50 左右,关键词排名在 30-50 之间浮动,可却怎么也冲不到...

如何写好SEO软文标题

如何写好SEO软文标题

共计 594 个字符,预计需要花费 2 分钟才能阅读完成。 当我们在发表一篇文章的时候,通常呈现给搜索引擎和用户第一眼的 标题,软文会不会被阅读,阅读率有多高,标题很关键,那我们怎么去设置好这...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。