Zyte Cloud部署Scrapy爬虫出现scrapy_user_agents模块缺失及连接拒绝问题

一、scrapy_user_agents 模块缺失问题 #

你遇到的本地和Zyte Cloud模块表现不一致，本质是混用了两个名称相似、但完全独立的第三方Scrapy UA中间件包，且Git依赖安装配置不规范导致的：

• 你本地默认安装的是scrapy-user-agents（PyPI包名，中间带横杠），对应导入路径为scrapy_user_agents，中间件路径为scrapy_user_agents.middlewares.RandomUserAgentMiddleware
• 你后续替换的中间件路径属于另一个独立包scrapy-useragents（PyPI包名，无中间横杠），对应导入路径为scrapy_useragents

修复步骤 #

1. 恢复settings.py中DOWNLOADER_MIDDLEWARES的配置为你本地正常运行的版本：scrapy_user_agents.middlewares.RandomUserAgentMiddleware
2. 修改requirements.txt的依赖配置，优先使用PyPI正式版本避免Git安装问题，直接添加一行：

   scrapy-user-agents==0.4.1
   

   如果你一定要使用Git源的安装包，需要补充egg标识让pip正确识别包名，格式为：

   git+https://github.com/scrapedia/scrapy-useragents.git#egg=scrapy-user-agents
   

3. 重新打包部署到Zyte Cloud即可解决两端模块不兼容的问题。

二、Splash 111连接拒绝问题 #

该错误是因为Zyte Cloud的爬虫运行环境没有内置本地Splash服务，你配置的http://localhost:8050是你本地开发环境的服务地址，在Zyte的运行环境中不存在，所以连接被拒绝。

修复步骤 #

1. 登录Zyte Cloud的项目管理后台，开启项目专属的Splash服务实例，获取实例的公网访问地址、鉴权密钥
2. 修改settings.py中的SPLASH_URL配置，将本地地址替换为你获取到的远程Splash服务公网地址，如果服务需要鉴权，额外添加配置：

   SPLASH_APIKEY = '你的Splash服务鉴权密钥'
   

3. 如果你不想使用Zyte提供的Splash服务，也可以自行在公网云服务器上搭建Splash服务，开放8050端口访问权限后，将SPLASH_URL替换为你自己的服务公网地址即可。
4. 额外检查：确认Splash相关的下载中间件在DOWNLOADER_MIDDLEWARES中的优先级配置正确，没有被其他中间件覆盖。

内容的提问来源于stack exchange，提问作者Adam