Scrapy部署Zyte平台出现ModuleNotFoundError: No module named 'pandas'错误

问题根因 #

你的爬虫代码中引入了pandas依赖，但Zyte平台默认的Scrapy运行环境没有预装该第三方库，该问题和Scrapy版本无关，更换Scrapy版本无法解决。

解决步骤 #

方法一：通过requirements.txt声明依赖 #

1. 在Scrapy项目根目录（与scrapy.cfg同级目录）新建requirements.txt文件，写入兼容你当前环境的pandas版本：

pandas==1.1.5

注意：你使用的scrapy:1.5-py3堆栈基于Python 3.6构建，pandas 1.2及以上版本不再支持Python 3.6，请勿指定过高版本。

2. 修改scrapinghub.yml配置，添加依赖文件声明：

project: 557222
stacks:
    default: scrapy:1.5-py3
requirements:
    file: requirements.txt

方法二：直接在scrapinghub.yml中声明依赖 #

无需单独新建requirements.txt，直接在配置文件中添加依赖包声明即可：

project: 557222
stacks:
    default: scrapy:1.5-py3
requirements:
    packages:
        - pandas==1.1.5

部署前检查 #

确认scrapinghub.yml、scrapy.cfg、requirements.txt（如果用方法一）都放在项目根目录，不要存放在子文件夹中，修改完成后重新执行部署命令即可。

内容的提问来源于stack exchange，提问作者chuky pedro