共计 428 个字符，预计需要花费 2 分钟才能阅读完成。

有时候我们建站前期忘记写 robots.txt 文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底 Robots 生效 要多久呢？

百度 lee 曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。

其实我们可以假想下 robots 生效的过程：

1. 蜘蛛发现 robots 文件修改并将信息传回

2. 分析修改前后的 robots 文件

3. 删除不允许被收录的索引数据

这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现 robots 更改的时间延时或者被处理的优先性不同，最终导致的结果就是 robots 的生效时间不同。

通过以上分析我们可以得出 robots 的生效时间并不是一定的，如果你的 robots 更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com

以上就是 Robots 生效要多久的详细内容，更多请关注王尘宇博客其它相关文章！