本周非常简单地回到令人震惊的系列（因为伦敦这里已经很晚了，而且我已经像往常一样旅行了 40 多个小时）。我们注意到，许多网站为了阻止机器人访问其域名下的页面，都使用了 robots.txt 文件。虽然这无疑是一种良好做法，但我们收到的反馈表明，对于使用 robots.txt 文件阻止 Google/Yahoo!/MSN 或其他搜索机器人的作用存在一些误解。以下是简要说明：
使用进行阻止
不要尝试访问该 URL，但可以随意将 手机号码数据更新于 2025 年 保留在索引中并显示在 SERP 中（如果您对此感到困惑，请参阅下文）
使用 阻止– 可以随意访问，但不要将 URL 放入索引中或显示在结果中
通过 链接进行阻止
这不是明智之举，因为其他被跟 比特币数据库 踪的链接仍然可以将它们放入索引中（如果您不想在页面上“浪费精力”，那么这样做是可以的，但不要认为它会让机器人远离或阻止它出现在 SERP 中）
以下是一个通过 robots.txt 阻止但出现在 Google 索引中的页面的简单示例：此 robots.txt 在 about.com 的其他子域名中也是一样的）
您可以看到 .明确禁止访问文件夹。然而，当我们在 Google 上搜索该文件夹中的 URL 时，会发生以下情况：
在被屏蔽的外部 JavaScript 调用中
在插件内容中等等）来解决这个问题。这也 博目录 很可悲，因为它奖励了那些偏执的 SEO 人员，他们不听/不相信谷歌接受使用 nofollow 进行 PR 塑造，而是继续用老套的方法，也让我们对未来关于 SEO 最佳实践的信息是否值得信任产生了怀疑。
我不得不说，这是我见过谷歌最奇怪、最违反直觉的举动之一，但我仍然认为我们还没有了解事情的全貌。在我们做出任何重大决定之前，先看看后续的问题和答案会带来什么。