晓波笔记
最近有个朋友和我说，他前段时间向搜索引擎提交了没有正确书写robots.txt文件，从而导致了蜘蛛不能正常抓取网站，造成了不能收录，心里特着急。问我应该怎么处理？其实，robots文件生效需要一定的时间周期，要是现在更改好文件重新放上去的话，估计等蜘蛛反应过来又会浪费一些时间。因此我给他以下几点建议，这个问题得到了快速解决，因此顺便分享这篇文章希望能够帮到更多朋友。
最佳解决办法：主动出击。robots正确写法可以参照：网站robots文件写法完整版以及注意事项，这里我就不罗嗦了，具体方法如下：
第一步：把Robots封禁为允许，修改robots限制语法，解禁蜘蛛的访问权限，包括访问所有的网站内部路径，文档改成：User-agent: * Allow: / 然后到百度站长后台检测并更新Robots。
第二步：登陆百度站长后台，手动更新robots.txt文件，告知百度蜘蛛，robots.txt文件已经改好，让其快点来抓取网站。
第三步：在百度站长后台进行抓取检测，这个时候通常是显示抓取失败，不过没关系，多点击抓取几次，我们的重点是触发蜘蛛抓取站点。
第四步：在百度站长后台抓取频次，申请抓取频次上调，这样有利于加快解禁。
第五步：百度反馈中心进行反馈，告知百度原因是由于错误操作导致了这种情况的发生。
第六步：百度站长后台链接提交处，设置数据主动推送（实时），加快更新速度。
第七步：手动更新sitemap网站地图，重新做提交，并且每天持续手工提交一次直至恢复正常。
第九步：耐心等待蜘蛛正式来访，但是蜘蛛来过以后，当得知了robots限制已经解除，但百度的工作量很大，没有办法那么快速进行同步，需要一定的恢复周期，这个得有心理准备。
以上这些都处理好了，接下来需要做的就是等待了，一般2天的时间数据就会开始慢慢回升，几天后估计可以回升到正常状态！
注意点：有些站长朋友特别着急，一旦解禁就到处去发布一些垃圾外链，这样操作的话会引起蜘蛛的反弹和注意，从而导致收录变慢，因此错误地以为还没有解禁，这点是需要特别注意的。最后祝大家网站排名越来越好，要是喜欢的话请点个赞。
