百度已索引的页面,即使通过robots.txt文件进行封禁,也不会立即从索引中删除。
robots.txt 封禁与索引关系
- 封禁后索引不立即删除:即使在robots.txt中设置了封禁规则,已索引的页面并不会立即从百度的索引中删除。13
- 收录页面的展示:尽管页面被封禁,但之前如果有点击记录,页面的网址和标题可能仍会在搜索结果中展示。3
- 线上结果更新周期:百度可以保证不再对封禁的网站和目录进行抓取,但线上结果的消除需要一定的周期。7
处理方式
- 修改Robots并更新:如果需要恢复收录,可以修改robots.txt文件,移除封禁规则,并到百度站长后台检测并更新Robots。49
- 抓取检测:在百度站长后台进行抓取检测,即使显示抓取失败,多尝试几次抓取,有助于加快索引更新。49