Scrapy结合Splash与旋转代理时请求未走Splash的排查求助

我来帮你排查一下为什么请求没有经过Splash，结合你的配置和代码，有几个关键点需要检查调整：

1. 确认SplashRequest的正确导入 #

首先要确保你在爬虫文件顶部正确导入了SplashRequest：

from scrapy_splash import SplashRequest

如果没有这个导入，你的代码大概率会默认使用普通的Request，自然不会触发Splash的处理逻辑。

2. 调整中间件执行顺序 #

你的DOWNLOADER_MIDDLEWARES配置里，代理中间件的优先级（610、620）比Splash中间件（723、725）更高，这会导致代理先于Splash处理请求，打乱了"Splash渲染→代理转发"的流程。

把代理中间件的优先级数值调大（数值越大，执行顺序越靠后）：

DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 800,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 810,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

3. 验证Splash服务连通性 #

虽然你启动了Splash容器，但可以手动测试服务是否正常：
在终端执行：

curl http://localhost:8050/render.html?url=http://example.com&wait=0.5

如果能返回渲染后的页面HTML，说明Splash服务正常；如果不行，检查容器状态（docker ps）或端口是否被占用。

4. 通过日志确认请求流向 #

把LOG_LEVEL改成DEBUG，运行爬虫后查看日志：

LOG_LEVEL = 'DEBUG'

如果请求经过Splash，你会看到类似这样的日志条目：

DEBUG:scrapy_splash:Splash request <GET http://localhost:8050/render.html?url=...>

要是看不到这条日志，说明SplashRequest没有被正确触发，回到第一步检查导入和代码。

5. 检查custom_settings的配置覆盖问题 #

你在爬虫里通过custom_settings设置了代理列表，要确保它没有意外覆盖Splash相关的全局配置。可以在爬虫初始化时打印配置验证：

from scrapy.utils.project import get_project_settings

def __init__(self, *args, **kwargs):
    super().__init__(*args, **kwargs)
    settings = get_project_settings()
    print("SPLASH_URL:", settings.get('SPLASH_URL'))
    print("DUPEFILTER_CLASS:", settings.get('DUPEFILTER_CLASS'))

如果这些Splash核心配置没有正确显示，需要调整custom_settings的内容。

6. 明确指定Splash请求端点 #

在你的SplashRequest里添加endpoint参数，明确指定使用渲染接口：

yield SplashRequest(
    url, 
    self.parse_url, 
    headers={'User-Agent': self.user_agent },
    args={'render_all': 1, 'wait': 0.5},
    endpoint='render.html'
)

这能确保请求走的是Splash的渲染链路，避免端点匹配问题。

按照上面的步骤逐一排查，应该就能解决请求不经过Splash的问题了。

内容的提问来源于stack exchange，提问作者Zin Yosrim