如何将Scrapy爬取数据存入Django模型？运行配置报错该如何解决？

这个错误是因为在独立脚本中直接调用Django ORM时，未提前加载Django项目配置，Django无法定位到INSTALLED_APPS等核心配置项导致的。

你当前的scrapy.py是单测试脚本，只需在导入Django模型前完成Django环境初始化即可，修改后的代码如下：

import os
import sys
import django

# 替换为你本地Django项目根目录的绝对路径
sys.path.append("/home/xxx/your_django_project_root")
# 替换为你Django项目的settings模块路径，格式为「项目名.settings」
os.environ["DJANGO_SETTINGS_MODULE"] = "your_project_name.settings"
# 初始化Django环境
django.setup()

# 初始化完成后再导入模型，注意替换为你实际的APP名
from your_app_name.models import Product

# 后续ORM操作可正常执行
Product.objects.create(name='BMW', age=25, content='cool car')

如果是正式的Scrapy爬虫项目，推荐将Django初始化逻辑放到全局配置中，用Pipeline处理数据入库，逻辑更清晰易维护：

• 第一步：在Scrapy项目的settings.py文件最顶部添加Django初始化代码，逻辑和上述单脚本的初始化代码完全一致
• 第二步：在Scrapy的pipelines.py中编写数据入库逻辑，示例如下：

from your_app_name.models import Product

class DjangoStoragePipeline:
    def process_item(self, item, spider):
        # 可自行添加去重逻辑，避免重复入库
        Product.objects.get_or_create(
            name=item["name"],
            defaults={
                "age": item["age"],
                "content": item["content"]
            }
        )
        return item

• 第三步：在Scrapy的settings.py中开启上述Pipeline，添加配置：

ITEM_PIPELINES = {
    'your_scrapy_project_name.pipelines.DjangoStoragePipeline': 300,
}

• 运行Scrapy的Python环境必须和Django项目使用的环境一致，避免依赖缺失
• 存放Product模型的Django App必须已经在Django项目的INSTALLED_APPS中注册
• 路径配置优先用绝对路径，避免工作目录变动导致的路径解析错误

内容的提问来源于stack exchange，提问作者urek mazino