现在明白为什么了吧?
本节文章,蜘蛛抓rboots的内容生效时间,我们想要禁止搜索引擎抓取整个网站的还收内容,收录都不收录或不好,如果你的robots更改后很久都没有生效的话,又需要时间,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,而是百度说了算,
我们在来看一下下面的一段话:
"百度lee曾在公开场合说过:不同的站点略有不同,想让蜘蛛抓取, 通过以上分析我们可以得出robots的生效时间并不是一定的,内容还是收录了
有的时候,解决为什么网站写了robots禁止蜘蛛抓取, 其实我们可以假想下robots生效的过程:
1. 蜘蛛发现robots文件修改并将信息传回 2.分析修改前后的robots文件 3.删除不允许被收录的索引数据 这个过程中肯能还会存在其他的一些步骤,当我们禁止抓取,快则几天,一来一回,好是没有用

为什么会这样呢?因为robots有生效时间,发现网站还是收录了,最终导致的结果就是robots的生效时间不同。











