Rails 7网站仅开放瑞士访问，如何正确允许Googlebot爬取？

我有一个Rails 7网站，希望仅对瑞士地区的访客开放访问权限。为此我在Application Controller中检查用户的国家代码，非瑞士来源的访客会被拦截。但出于SEO需求，需要允许Googlebot爬取网站，目前我在block_unless_swiss方法里加了判断：如果用户代理包含'Googlebot'字符串就允许访问。请问这种实现是否正确，有没有更优的解决方案？

用户当前实现代码：

class ApplicationController < ActionController::Base
  before_action :block_unless_swiss

  def block_unless_swiss
    return if Rails.env.development?

    # Get the user's country code
    country_code = request.location.country_code
    user_agent = request.user_agent
    # If the user is not from Switzerland is the Googlebot, render an error page
    return if country_code == 'CH' || user_agent.include?('Googlebot')

    render 'errors/403', status: :forbidden
   end
end

现有实现的潜在问题 #

• 用户代理伪造风险：仅通过user_agent.include?('Googlebot')判断完全不可靠，恶意访客可以轻松修改用户代理伪装成Googlebot绕开限制。
• IP定位误差：request.location.country_code依赖的IP定位服务（比如Rails默认的MaxMind数据库）可能存在定位偏差，导致真实瑞士用户被误拦截，或者非瑞士用户漏过。
• 爬虫覆盖不全：Google除了基础Googlebot，还有Googlebot-Image、Googlebot-Mobile、Google-InspectionTool等官方爬虫，现有判断会漏掉这些，影响图片、移动端内容的SEO。

更优实现方案 #

1. 验证Google爬虫的真实性 #

不要只依赖用户代理，结合反向DNS解析+正向IP验证确认是否为官方Google爬虫：

def valid_google_crawler?
  return false unless request.user_agent&.match?(/Googlebot|Googlebot-Image|Googlebot-Mobile|Googlebot-Video|Google-InspectionTool/i)

  begin
    # 反向解析IP获取主机名
    hostname = Resolv.getname(request.remote_ip)
    # 验证主机名归属Google，再正向解析确认IP匹配
    hostname.end_with?('.googlebot.com', '.google.com') && 
      Resolv.getaddresses(hostname).include?(request.remote_ip)
  rescue Resolv::ResolvError
    false
  end
end

2. 优化IP定位的容错处理 #

考虑定位失败的情况（比如country_code为nil），避免误拦截合法用户：

def switzerland_visitor?
  country_code = request.location.country_code
  country_code.present? && country_code == 'CH'
end

3. 重构拦截逻辑，提升可读性 #

把判断逻辑拆分为独立方法，让代码更清晰易维护：

class ApplicationController < ActionController::Base
  before_action :block_unless_swiss

  def block_unless_swiss
    return if Rails.env.development?
    return if allowed_access?

    render 'errors/403', status: :forbidden
  end

  private

  def allowed_access?
    switzerland_visitor? || valid_google_crawler?
  end

  def switzerland_visitor?
    country_code = request.location.country_code
    country_code.present? && country_code == 'CH'
  end

  def valid_google_crawler?
    return false unless request.user_agent&.match?(/Googlebot|Googlebot-Image|Googlebot-Mobile|Googlebot-Video|Google-InspectionTool/i)

    begin
      hostname = Resolv.getname(request.remote_ip)
      hostname.end_with?('.googlebot.com', '.google.com') && 
        Resolv.getaddresses(hostname).include?(request.remote_ip)
    rescue Resolv::ResolvError
      false
    end
  end
end

4. 额外建议 #

• 可添加后台白名单功能，允许特定IP/用户绕过地区限制，方便内部测试或合作方访问。
• 403拦截页面可增加说明文字，告知用户网站仅对瑞士访客开放，并提供联系渠道处理误拦截问题。

内容的提问来源于stack exchange，提问作者MeritonAliu