如何在GCP负载均衡层阻止爬虫攻击CloudRun服务？

以下是针对你场景的几个高效可行方案，全部基于GCP原生负载均衡配套功能实现：

1. 利用Cloud Armor安全策略精准拦截（首选方案） #

Cloud Armor是GCP负载均衡的原生WAF组件，直接在LB层处理请求，不会将垃圾流量转发到CloudRun：

• 拦截已知恶意路径：创建自定义规则，匹配爬虫常扫描的路径（如/.env、/manifest.xml、/wp-admin等），动作设为DENY 403。规则示例：

  request.path.matches("^/\\.env$|^/manifest\\.xml$|^/wp-.*$|^/admin.*$")
  

  可以持续补充这类恶意路径的正则匹配，覆盖常见扫描目标。
• 速率限制拦截批量请求：配置速率限制规则，对单个客户端IP设置请求频率阈值（比如1分钟内最多50次请求），超过阈值的请求直接拦截。这能有效阻止爬虫的批量扫描行为，同时不影响正常用户访问。
• 地理封禁（按需使用）：如果你的业务仅面向特定地区用户，直接在Cloud Armor里配置地理规则，拒绝非目标地区的所有请求。比如只允许中国大陆、美国IP访问，其余地区全部拦截，能大幅减少全球范围的垃圾流量。
• 启用预配置安全规则集：开启Cloud Armor的「Google托管防护规则」，里面包含了SQL注入、XSS攻击、已知恶意IP等预定义规则，无需手动编写即可拦截大部分常见恶意请求。

2. 优化负载均衡的路径转发规则 #

通过LB的URL映射配置，只允许合法路由转发到CloudRun，其余请求直接返回403：

• 先添加精确匹配的恶意路径规则，比如匹配/.env、/manifest.xml，直接返回403状态码；
• 再添加合法路径的转发规则，比如你的Express应用只有/api/*、/auth/*这类路径，设置这些路径转发到CloudRun服务；
• 最后添加默认规则，匹配所有剩余路径，返回403。
  这种方式能彻底拦截所有不在合法路由范围内的请求，从入口处切断垃圾流量。

3. 结合IAP（身份感知代理）强化认证 #

如果你的用户都是内部人员或可信用户，可以在LB层启用IAP，替代或补充CloudRun的基础认证：

• IAP会在LB层验证用户身份（支持Google账号、OAuth2等），未通过认证的请求直接被拦截，不会到达CloudRun；
• 这种方式能从根源上阻止未授权的垃圾请求，同时比手动维护认证信息更可靠。

注意事项 #

• Cloud Armor规则有优先级，确保拦截恶意请求的规则优先级高于允许规则；
• 配置规则后，建议先开启「日志模式」测试，确认不会误拦截正常请求后再切换到强制拦截模式；
• 定期查看Cloud Armor的日志，补充新出现的恶意路径或攻击模式，更新规则库。

内容的提问来源于stack exchange，提问作者Asif Alam