You need to enable JavaScript to run this app. Scrapy项目本地运行正常 部署Zyte后报TemplateNotFound错误求助
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy项目本地运行正常 部署Zyte后报TemplateNotFound错误求助

问题解决步骤

核心原因

Zyte平台部署Scrapy项目时,默认仅打包find_packages()识别到的Python包内的文件,你的templates目录、sqlite文件不属于Python包内文件,未被打包进部署包;且你使用了相对路径加载文件,Zyte运行环境的工作目录与本地不一致,会导致路径解析失败。


步骤1:修改打包配置,把非Python文件纳入部署包

  • 首先在项目根目录(和setup.py同级)新建MANIFEST.in文件,写入以下内容:
include templates/*.html
include .scrapy/crawl_once/gumtree.sqlite

注意:你目录结构里写的gumtree.splite为拼写错误,需要先修正为gumtree.sqlite

  • 修改setup.py,在setup()参数中添加include_package_data=True,修改后代码如下:
# Automatically created by: shub deploy
from setuptools import setup, find_packages

setup(
    name         = 'project',
    version      = '1.0',
    packages     = find_packages(),
    entry_points = {'scrapy': ['settings = gumtree.settings']},
    include_package_data = True
)

步骤2:修复模板加载的路径配置

不要使用硬编码的相对路径,基于当前文件位置动态计算绝对路径,修改你的jinja2加载代码:

import os
import jinja2

# 获取当前pipelines.py文件所在的gumtree目录路径
current_file_dir = os.path.dirname(os.path.abspath(__file__))
# 推导项目根目录路径(gumtree目录的上级目录)
project_root = os.path.dirname(current_file_dir)
# 拼接得到templates目录的绝对路径
templates_path = os.path.join(project_root, 'templates')

file_loader = jinja2.FileSystemLoader(templates_path)
env = jinja2.Environment(loader=file_loader)
template = env.get_template('results.html')
mail_content = template.render(items=self.items)
print(mail_content)

步骤3:修复sqlite文件读取配置

和模板路径逻辑一致,动态计算sqlite的绝对路径:

sqlite_path = os.path.join(project_root, '.scrapy', 'crawl_once', 'gumtree.sqlite')

注意:Zyte爬虫运行环境的本地存储是临时的,爬虫任务结束后所有本地写入的文件都会被清空。如果你是在爬虫运行过程中生成/修改sqlite数据,任务结束后数据会丢失,需要在任务结束前将sqlite作为邮件附件发送,或者上传到你自己的外部存储服务。


验证排查方法

如果修改后仍报错,可以在代码中加入调试打印,查看Zyte运行环境的路径情况:

import os
print("当前工作目录:", os.getcwd())
print("项目根目录:", project_root)
print("templates目录文件:", os.listdir(templates_path))

从Zyte的任务日志中可以确认文件是否被正确打包、路径是否计算正确。


内容的提问来源于stack exchange,提问作者Shatha Al-Bajly

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 18:51:03