如何在Azure Web应用防火墙中允许访问robots.txt

方法1：创建自定义允许规则（优先级设为最高） #

Azure WAF的自定义规则可以匹配请求路径，你说没找到URL排除选项，其实可以通过这种方式实现放行：

• 登录Azure门户，找到关联AKS入口的WAF资源（比如Application Gateway WAF）
• 进入规则管理 -> 自定义规则，点击添加自定义规则
• 给规则命名，比如Allow_Robots_Txt
• 规则类型选择匹配，优先级设为1（必须高于默认的阻止规则，确保允许逻辑先执行）
• 匹配条件设置：
  • 匹配变量选Request URI
  • 运算符选Equals
  • 匹配值填写/robots.txt
• 动作选择允许
• 保存规则并将配置应用到WAF策略

方法2：针对触发拦截的规则添加排除项 #

如果是WAF托管规则组（比如OWASP核心规则集）里的特定规则拦截了robots.txt请求，可以给该路径添加规则排除：

• 进入WAF的规则管理 -> 规则排除
• 添加排除项：
  • 排除类型选Request URI
  • 运算符选Equals
  • 值填写/robots.txt
  • 选择需要排除的规则组或具体规则ID（知道拦截规则的话选具体ID，不确定就选对应的规则组）
• 保存配置，这样访问/robots.txt的请求会跳过指定规则的检查

验证配置 #

配置完成后，用curl或浏览器直接访问https://你的域名/robots.txt，确认返回200状态码；也可以查看WAF日志，确认该请求未被拦截。另外，使用Google Search Console的测试robots.txt功能，能直接验证搜索引擎爬虫是否能正常访问该文件。

内容的提问来源于stack exchange，提问作者PNDev