robots txt怎么写：源站正常而边缘节点异常时应保留哪些证据

📍 WDQWDWQD987AAAAA:216.73.216.175
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9d5d1c1f41a9.html
📄

robots txt怎么写：源站正常而边缘节点异常时应保留哪些证据

先给结论：当源站返回的 robots.txt 正常、但边缘节点返回的内容不同，不要只截一张浏览器里的报错图。应同时保留“源站响应”“边缘响应”“请求路径”“时间点”四类证据，并用同一 URL、同一 User-Agent、同一时间窗口做对照。这样后续才能判断是缓存副本、节点配置还是回源链路的问题，而不是把一次异常表现直接当成规则写错。

矛盾现象：源站没问题，抓取方却读到另一份规则

假设场景：你在源站更新了 robots.txt，用命令行请求源站 IP 时看到的是新内容；但通过公开域名请求时，返回的仍是旧内容，甚至是一份带额外 Disallow 的版本。此时最危险的做法，是立刻去改源站文件或再加一条规则，因为你看不到异常到底发生在哪一层。

这类现象通常有两种解释。第一种是边缘缓存：边缘节点仍持有旧副本，源站已经更新，但节点没有及时回源。第二种是节点侧改写或独立配置：边缘层对 /robots.txt 做了特殊处理，返回的内容并非源站文件本身。两者表现相似，但处理动作完全不同。

用三组证据区分缓存副本与节点改写

第一组：同一请求的源站响应与边缘响应

分别向源站地址和公开域名发起请求，保留完整响应头，而不只是正文。重点看 Date、Age、Cache-Control、ETag、Last-Modified、Server、Via 或类似回源标记。若边缘响应的 Age 明显大于零，且正文与源站旧版本一致，缓存副本的解释更强。若边缘响应的 ETag 与源站完全不同，或出现了源站没有的响应头，节点改写的可能性上升。

动作与结果：先不要清缓存，而是把两组响应头按时间顺序保存。若边缘响应的 Age 持续增长、源站响应的 Last-Modified 已更新，下一步应验证缓存键和刷新机制；若边缘响应头里出现源站没有的字段，下一步应转向节点配置核查。这个顺序能避免把节点问题误判为源站文件问题。

第二组：不同网络位置与不同 User-Agent 的对照

从至少两个网络位置请求同一域名，并分别使用普通抓取 UA 和浏览器 UA。若只有某个网络位置返回旧内容，问题更可能局限在该边缘节点或区域缓存；若所有位置都返回同一份异常内容，则更可能是全局节点配置或回源路径问题。若不同 UA 得到不同结果，说明边缘层可能按 UA 分流，这已经超出 robots.txt 文件本身的范围。

这里要保留的是一组可复核的请求记录：请求时间、来源网络、目标 URL、UA、响应状态、正文哈希或正文片段。不要只保留“我这边看是好的”这种描述，因为它无法区分节点差异和本地缓存。

第三组：时间线与变更记录

把源站文件修改时间、发布记录、边缘刷新操作时间、首次发现异常的时间排成一条线。若异常出现在刷新操作之前，缓存副本解释更合理；若异常出现在配置变更之后，节点改写或规则下发解释更合理。若两者时间接近，不能直接归因，应继续用第一组响应头证据交叉判断。

保留证据时容易漏掉的两件事

第一，robots.txt 的抓取限制不等于可靠的索引移除。即使边缘节点返回了错误的 Disallow，也不能仅凭这一点推断页面会立刻从索引消失；抓取限制、索引移除和排名变化是不同层面的事情。保留证据的目的是定位返回异常，而不是承诺某种索引结果。

第二，站点地图不保证收录，HTTPS 也不保证安全无漏洞或排名。若异常期间同时出现抓取量下降，不要直接把下降归因于 robots.txt 异常。抓取量归零还可能有其他合理解释，例如抓取预算调整、站点整体响应变慢、外部链接变化或抓取方自身的调度变化。只有把 robots.txt 响应证据与其他可观测信号放在一起，才能缩小解释范围。

一份可直接执行的最小证据清单

  1. 源站直连请求的完整响应头与正文，标注请求时间。
  2. 公开域名请求的完整响应头与正文，标注请求时间。
  3. 至少两个网络位置的对照结果，注明来源网络。
  4. 普通抓取 UA 与浏览器 UA 的对照结果。
  5. 源站文件修改时间、发布记录、边缘刷新或配置变更时间。
  6. 同期抓取日志中与 /robots.txt 相关的状态码、响应大小和 UA。

完成这组记录后，如果边缘响应与源站响应在正文和响应头上都一致，只是你本地看到旧内容，那么问题更可能在本地缓存或观测方式；如果边缘响应持续偏离源站，且不同节点表现不一致，就应优先核查边缘缓存键、回源策略和节点侧规则，而不是继续修改源站 robots.txt。下一步动作取决于证据指向哪一层，而不是取决于哪份文件看起来更“正确”。

图1 图2
nginx