Robots与Meta robots的组合使用

robots.txt管抓取入口，meta robots管收录行为，两者组合才能实现精细的页面级控制。

允许抓取禁止收录

页面不加robots屏蔽，head里加 meta name=robots content=noindex：蜘蛛能来读，但页面不进索引。

禁止抓取

robots.txt里Disallow对应路径：蜘蛛完全不来。已收录的页面用这个方法不会立即移除。

跟随链接设置

noindex页面同时加 nofollow 阻止蜘蛛沿页面外链继续爬行。

判断标准与参考数据

noindex页面的索引在一到两周内移除；robots屏蔽的路径抓取归零。

注意事项

noindex页面被robots屏蔽是经典错误：蜘蛛读不到noindex声明，页面以无摘要形式永久留在索引里。