Cloudflare Worker重定向美国用户时验证机器人条件失效求助

核心问题分析 #

你的场景中爬虫被错误重定向，大概率是机器人验证属性的访问方式错误，或者逻辑判断顺序倒置导致的。Cloudflare Worker中关于验证机器人的属性并非直接的顶级字段，而是嵌套在request.cf.botManagement下的verifiedBot（驼峰命名），很多人会误写成下划线分隔的verified_bot或者层级错误，导致判断条件始终为false。

可能的原因及排查步骤 #

• 属性路径错误：确认代码中是否正确访问request.cf.botManagement.verifiedBot，而非其他错误命名（比如verified_bot、isVerifiedBot）。若Worker运行在未开启Cloudflare Bot Management的环境下，botManagement字段可能不存在，需用可选链避免报错。
• Bot Management功能未启用：检查Cloudflare控制台中，你的域名是否开启了Bot Management（基础版仅提供verifiedBot基础判断，高级功能需对应套餐）。未启用时该字段会始终返回undefined。
• 逻辑顺序错误：如果代码先判断国家重定向、再判断机器人状态，会导致机器人被提前触发重定向，应优先判断机器人是否需要绕过。

修正后的Worker代码 #

addEventListener('fetch', event => {
  event.respondWith(handleRequest(event.request))
})

async function handleRequest(request) {
  const url = new URL(request.url)
  const path = url.pathname

  // 优先判断是否为验证过的搜索引擎爬虫，直接放行
  const isVerifiedBot = request.cf?.botManagement?.verifiedBot
  if (isVerifiedBot) {
    return fetch(request)
  }

  // 判断访问者是否来自美国，且当前路径不是/us/前缀
  const country = request.cf?.country
  const isUSVisitor = country === 'US'
  const isUSPath = /^\/us\/.*$/.test(path) || path === '/us'

  if (isUSVisitor && !isUSPath) {
    // 重定向到对应/us/路径，根路径重定向到/us/
    const redirectUrl = path === '/' ? '/us/' : `/us${path}`
    return Response.redirect(new URL(redirectUrl, request.url), 302)
  }

  // 其他情况直接返回原请求
  return fetch(request)
}

代码关键点说明 #

1. 优先判断机器人：把验证机器人的逻辑放在最前面，确保爬虫不会进入后续重定向判断
2. 可选链安全访问：用request.cf?.botManagement?.verifiedBot避免因字段不存在导致的运行时错误
3. 路径判断优化：正则同时匹配/us/xxx和/us两种情况，根路径单独处理为重定向到/us/
4. 临时重定向：使用302状态码，避免搜索引擎将非美国页面的权重完全转移到/us/路径（需永久重定向可改为301）

额外验证方法 #

• 查看Cloudflare Worker日志：在控制台的Worker>日志中添加console.log('Bot status:', request.cf?.botManagement)，确认机器人访问时verifiedBot是否为true
• 模拟爬虫请求：用curl模拟Googlebot的UA，通过Cloudflare测试工具验证请求是否被正确识别为验证机器人

内容的提问来源于stack exchange，提问作者Levi Cole