如何使您的测试站点或开发站点脱离索引

如何使您的测试站点或开发站点脱离索引

一般的话，你不会希望你的站点出现在搜索结果中，那么所以你怎么能阻止谷歌对这些内容进行索引呢？

我遇到的一些常见的技术SEO问题之一是开发服务器的无意索引、登台站点、生产服务器，或者您使用的任何其他名称。

这种情况的发生是有有很多原因的，如从人们认为没有人会链接到这些领域，到技术上的误解等等理由。网站的这些部分通常是敏感的，在搜索引擎的索引中会有风险暴露计划中的活动、商业情报或私人数据。

如何判断你的开发服务器是否正在索引

您可以使用谷歌搜索来确定您的登台站点是否正在索引。可能还有其他敏感区域，这些区域包含登录门户或不用于公共消费的信息。除了各种各样的谷歌搜索操作（也被称为Google Dorking），网站往往会屏蔽这些区域的robots文件，然后告诉你你不应该在哪里浏览。告诉人们在哪里可以找到你不希望他们看到的信息会出什么问题？

你可以采取许多行动来阻止访问者和搜索引擎离开开发服务器和其他敏感区域。以下是一些方法的选项：

好的选项：HTTP身份验证

您想要避免的任何索引都应该包括Linux虚拟主机cn.blu***和服务器端身份验证。要求对访问进行身份验证是避免用户和搜索引擎的方法。

好的选项：IP白名单

只允许已知的IP地址，比如属于你的网络、客户等等，这是确保你的网站安全的又一个不可或缺的重要步骤，并且确保只有那些需要看到网站内容的用户才能看到它。

可能的选项：屏蔽页面索引的文件

虽然它并没有得到的支持，但是它可以从索引中删除页面。我使用这种方法的问题是，它仍然告诉人们不应该看什么，它可能永远不会工作，也不会对所有的搜索引擎工作。

我之所以说这是一个“可能”的原因，这是因为它可以工作，并且可能实际上与robots文件是不允许结合的，与其他一些方法不同，如果您不允许爬行（我将在本文后面讨论），这与其他方法不同。

可能的选项：屏蔽页面索引的标签

一个屏蔽页面索引标签，无论是在机器人的元标记中，还是在HTTP头中的X-Robots-Tag，这都可以帮助你的页面远离搜索结果。

我看到的一个问题是，它意味着更多的页面被搜索引擎抓取和抓取，这将侵蚀你的爬行和抓取预算。我通常会看到这个标签在robots中也有不允许的情况下使用。如果你告诉谷歌不要在页面上爬行和抓取，那么他们就不能尊重屏蔽页面索引标签，那是因为他们看不到。

另一个常见的问题是，这些标记可以应用于测试站点，然后在页面上线时离开页面，能够有效地将该页面从索引中删除。