Zuul网关因Google索引请求过多宕机问题求助

环境信息 #

• Spring Boot版本：1.4.1 RELEASE
• Spring Cloud版本：Camden.SR1
• 问题现象：Google索引操作产生的大量请求导致Zuul网关宕机

核心依赖配置 #

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-dependencies</artifactId>
    <version>Camden.SR1</version>
    <type>pom</type>
    <scope>import</scope>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-zuul</artifactId>
</dependency>

解决方案 #

1. 基于Hystrix实现线程隔离与限流 #

Camden版本的Zuul默认集成Hystrix，可为高请求路由分配独立线程池，避免单一路由耗尽网关资源：

# 为Google爬虫访问的路由配置独立线程池
hystrix.threadpool.google-crawler-pool.size=50
hystrix.threadpool.google-crawler-pool.maxQueueSize=100
hystrix.threadpool.google-crawler-pool.queueSizeRejectionThreshold=80

# 将目标路由关联到该线程池
zuul.routes.target-service.hystrix.commandKey=google-crawler-pool

2. 针对爬虫请求添加限流规则 #

通过Zuul Filter识别Google爬虫的User-Agent，限制其请求频率：

public class CrawlerRateLimitFilter extends ZuulFilter {
    // 每秒允许100次爬虫请求
    private final RateLimiter rateLimiter = RateLimiter.create(100.0);

    @Override
    public String filterType() {
        return "pre";
    }

    @Override
    public int filterOrder() {
        return 1;
    }

    @Override
    public boolean shouldFilter() {
        String userAgent = RequestContext.getCurrentContext().getRequest().getHeader("User-Agent");
        return userAgent != null && userAgent.contains("Googlebot");
    }

    @Override
    public Object run() {
        if (!rateLimiter.tryAcquire()) {
            RequestContext.getCurrentContext().setResponseStatusCode(HttpStatus.TOO_MANY_REQUESTS.value());
            RequestContext.getCurrentContext().setSendZuulResponse(false);
        }
        return null;
    }
}

3. 静态资源缓存优化 #

针对Google常爬取的静态资源（HTML、CSS、图片等），通过Zuul添加缓存策略，减少后端服务重复请求：

# 配置静态资源路由
zuul.routes.static-res.path=/static/**
zuul.routes.static-res.url=http://your-static-server/

# 启用Zuul缓存（需引入spring-boot-starter-cache依赖）
zuul.cache.enabled=true
zuul.cache.expiration=3600 # 缓存有效期1小时

4. 优化网关容器线程配置 #

调整Tomcat/Undertow线程池参数，提升网关并发处理能力：

# Tomcat配置
server.tomcat.max-threads=200
server.tomcat.min-spare-threads=50
server.tomcat.accept-count=100

# 若使用Undertow则配置以下参数
server.undertow.worker-threads=200
server.undertow.io-threads=2

内容的提问来源于stack exchange，提问作者Sameer Makwana