一探究竟， 是我坚信积极管理自己的指数，但这并不总是那么容易，而且我发现了一些常见的错误。，就必须阻止爬行路径。有道理，对吧？如果您不希望某个页面被编入索引，为什么要对其进行抓取？不幸的是，虽然这听起来合乎逻辑，但它也是完全错误的。
让我们看一个例子…… 场景
产品评论 假设我们有一个规模相当大的电子商务网站，有 1,000 个独特的产品页面。这些页面看起来像这样： 1000 个产品页面（图表） 当然，每个产品页面都有自己的 URL，这些 URL 的组织方式如下在假设每个产品页面都链接到该产品的评论页面： 链接到评论页面的产品页面。
这些评论页面也有自己独特
的 URL（链接到产品 ID），例如： h不幸的是，我们刚刚生成了 1,000 个重复页面，因为每个评论页面实际上只是一个外观，没有独特的内容。
这些评论页面没有搜索价值
只会削弱我们的索引。因此，我们决定是时候采取行动了…… “好吧”，第 1 部分 我们希望这 特殊数据库 些页面消失，因此我们决定使用 META NOINDEX（Meta Robots）标签。由于我们真的非常想完全完成这些页面，因此我们还决定点击评论链接。
我们的第一次修复尝试看
起来像这样： 含有被阻止链接的产品页面和 NOINDEX 评论页面 从表面上看，这是有 保护云环境中敏感数据的访问：最佳实践 道理的。但问题是——那些红色箭头现在是断路，可能会阻挡蜘蛛。如果蜘蛛永远不会返回评论页面，他们将永远不会读取 NOINDEX 并且不会对页面取消索引。
在最好的情况下这将花费大
量时间（并且在大型网站上取消索引已经花费了大量时间）。 准确性，第 2 部分 相反，让路径保 美国数据库 持开放（让链接跟随）。这样，爬虫就会不断地查看页面，重复的评论 URL 就会逐渐消失： 带有以下链接的产品页面 请记住，此过程仍可能需要一些时间（在大多数情况下为几周）。
每天监控您的指数
（使用“site:”操作符）——您正在寻找随着时间的推移逐渐下降的情况。如果发生这种情况，那么您的状况良好。专业提示：不要太认真地对待某一天的“网站：”——它有时可能不可靠。看看随着时间的推移的趋势。 新站点与现有站点 我认为值得注意的是，此问题仅适用于现有网站，其中重复的 URL 已被编入索引。