Google如何正确认识和使用robots.txt文件（收藏备用）

这属于一般情况。该网址对其他子网域、协议或端口号来说无效。对同一个主机、协议和端口号上的所有子目录中的所有文件有效。

• https://example.com/

• https://example.com/folder/file

• https://other.example.com/

• http://example.com/

• https://example.com:8181/

子网域上的 robots.txt 仅对该子网域有效。

适用于： https://www.example.com/

不适用于：

• https://example.com/

• https://shop.www.example.com/

• https://www.shop.example.com/

IDN 等同于其对应的 punycode 版本。

• https://www.exämple.com/

• https://xn--exmple-cua.com/

不适用于： https://www.example.com/

适用于： ftp://example.com/

不适用于： https://example.com/

以 IP 地址作为主机名的 robots.txt 只在抓取作为主机名的该 IP 地址时有效。该 robots.txt 文件并不会自动对该 IP 地址上托管的所有网站有效，但该文件可能是共享的，在此情况下，它也可以在共享主机名下使用。

适用于： https://212.96.82.21/

不适用于： https://example.com/（即使托管在 212.96.82.21 上）

标准端口号（HTTP 为 80，HTTPS 为 443，FTP 为 21）等同于其默认的主机名。

适用于：

• https://example.com:443/

• https://example.com/

不适用于： https://example.com:444/

非标准端口号上的 robots.txt 文件只对通过这些端口号提供的内容有效。

适用于： https://example.com:8181/

不适用于： https://example.com/

Google 会按照 RFC 1945 的规定跟踪至少五次重定向，然后便会停止，并将其作为 robots.txt 的 404 错误来处理。这也适用于重定向链中任何被禁止访问的网址，因为抓取工具会由于重定向而无法提取规则。

Google 不会跟踪 robots.txt 文件中的逻辑重定向（框架、JavaScript 或元刷新型重定向）。

Google 抓取工具会将所有 4xx 错误（429 除外）解读为网站不存在有效的 robots.txt 文件，这意味着 Google 会假定没有任何抓取限制。

由于服务器无法对 Google 的 robots.txt 请求提供明确响应，因此 Google 会暂时将服务器错误 5xx 和 429 解读为网站完全禁止访问。Google 会尝试抓取 robots.txt 文件，直到获得非服务器错误的 HTTP 状态代码。503 (service unavailable) 错误会导致非常频繁的重试操作。如果连续 30 天以上无法访问 robots.txt，Google 会使用该 robots.txt 的最后一个缓存副本。如果没有缓存副本，Google 会假定没有任何抓取限制。

如果您需要暂停抓取，建议为网站上的每个网址提供 503 HTTP 状态代码。

如果我们能够确定，某网站因为配置不正确而在缺少网页时返回 5xx 而不是 404 状态代码，就会将该网站的 5xx 错误作为 404 错误处理。例如，如果返回 5xx 状态代码的网页上的错误消息为“找不到网页”，我们会将该状态代码解释为 404 (not found)。