如何阻止Cloudflare为部分页面添加X-Robots-Tag？

• 检查Cloudflare机器人管理配置
  登录Cloudflare控制台，找到对应域名的「机器人管理」板块，查看是否存在自动为特定页面或爬虫添加noindex标签的策略，如有则调整规则，取消该设置。

• 排查Cloudflare页面规则
  进入「页面规则」界面，检查是否有针对目标页面设置的响应头修改规则，若存在添加X-Robots-Tag(noindex, follow)的规则，直接删除或修改该规则。

• 核查Cloudflare Workers与Transform Rules
  查看是否通过Workers脚本或Transform Rules（响应头转换规则）注入了该标签，如有相关逻辑，调整或删除对应的脚本/规则。

• 清理并调整Cloudflare缓存
  手动清除目标页面的Cloudflare缓存，同时检查缓存规则配置，确保服务器返回的原始响应头能被正确保留，不被Cloudflare篡改。

• 联系Cloudflare官方支持
  若以上操作均无效，提交工单联系Cloudflare技术支持，提供已验证的关键信息（绕过Cloudflare后页面无该标签、自身服务器未配置相关头信息等），请求排查具体原因。

内容的提问来源于stack exchange，提问作者alancc