Scrapy项目本地运行正常 部署Zyte后报TemplateNotFound错误求助
问题解决步骤
核心原因
Zyte平台部署Scrapy项目时,默认仅打包find_packages()识别到的Python包内的文件,你的templates目录、sqlite文件不属于Python包内文件,未被打包进部署包;且你使用了相对路径加载文件,Zyte运行环境的工作目录与本地不一致,会导致路径解析失败。
步骤1:修改打包配置,把非Python文件纳入部署包
- 首先在项目根目录(和
setup.py同级)新建MANIFEST.in文件,写入以下内容:
include templates/*.html include .scrapy/crawl_once/gumtree.sqlite
注意:你目录结构里写的gumtree.splite为拼写错误,需要先修正为gumtree.sqlite
- 修改
setup.py,在setup()参数中添加include_package_data=True,修改后代码如下:
# Automatically created by: shub deploy from setuptools import setup, find_packages setup( name = 'project', version = '1.0', packages = find_packages(), entry_points = {'scrapy': ['settings = gumtree.settings']}, include_package_data = True )
步骤2:修复模板加载的路径配置
不要使用硬编码的相对路径,基于当前文件位置动态计算绝对路径,修改你的jinja2加载代码:
import os import jinja2 # 获取当前pipelines.py文件所在的gumtree目录路径 current_file_dir = os.path.dirname(os.path.abspath(__file__)) # 推导项目根目录路径(gumtree目录的上级目录) project_root = os.path.dirname(current_file_dir) # 拼接得到templates目录的绝对路径 templates_path = os.path.join(project_root, 'templates') file_loader = jinja2.FileSystemLoader(templates_path) env = jinja2.Environment(loader=file_loader) template = env.get_template('results.html') mail_content = template.render(items=self.items) print(mail_content)
步骤3:修复sqlite文件读取配置
和模板路径逻辑一致,动态计算sqlite的绝对路径:
sqlite_path = os.path.join(project_root, '.scrapy', 'crawl_once', 'gumtree.sqlite')
注意:Zyte爬虫运行环境的本地存储是临时的,爬虫任务结束后所有本地写入的文件都会被清空。如果你是在爬虫运行过程中生成/修改sqlite数据,任务结束后数据会丢失,需要在任务结束前将sqlite作为邮件附件发送,或者上传到你自己的外部存储服务。
验证排查方法
如果修改后仍报错,可以在代码中加入调试打印,查看Zyte运行环境的路径情况:
import os print("当前工作目录:", os.getcwd()) print("项目根目录:", project_root) print("templates目录文件:", os.listdir(templates_path))
从Zyte的任务日志中可以确认文件是否被正确打包、路径是否计算正确。
内容的提问来源于stack exchange,提问作者Shatha Al-Bajly
相关产品推荐
相关产品推荐

