Python Scrapy项目配置python-dotenv遇阻：环境变量加载失败求助

可能的错误原因 #

• .env文件未放在项目根目录（需与scrapy.cfg同层级）
• settings.py中加载dotenv的代码执行顺序过晚，在调用os.getenv之后才加载
• 未正确安装python-dotenv依赖
• .env文件变量格式错误（如加了多余引号、等号两侧有空格）
• 运行Scrapy时的工作目录不是项目根目录，导致无法找到.env文件

正确配置步骤 #

1. 安装依赖 #

pip install python-dotenv

2. 编写.env文件（项目根目录下） #

SERVER_IP=192.168.1.100
SERVER_PORT=8080
# 注意：不要给变量值加引号，等号两侧不要留空格

3. 在settings.py中加载.env #

将加载代码放在文件最顶部，确保在所有变量引用前执行：

from dotenv import load_dotenv
import os

# 明确指定.env文件路径，避免工作目录问题
env_path = os.path.join(os.path.dirname(os.path.dirname(__file__)), '.env')
load_dotenv(env_path)

# 可选：将变量存入Scrapy配置，方便后续调用
SERVER_IP = os.getenv('SERVER_IP')
SERVER_PORT = os.getenv('SERVER_PORT', '80')  # 第二个参数为默认值

4. 在爬虫中整合IP到格式化字符串 #

直接从Scrapy配置中获取变量，拼接成目标URL：

import scrapy
from scrapy.utils.project import get_project_settings

class ExampleSpider(scrapy.Spider):
    name = 'example'

    def start_requests(self):
        settings = get_project_settings()
        # 用f-string整合IP和端口
        target_url = f'http://{settings["SERVER_IP"]}:{settings["SERVER_PORT"]}/api'
        yield scrapy.Request(url=target_url, callback=self.parse)

    def parse(self, response):
        # 处理响应逻辑
        pass

排查技巧 #

• 打印当前工作目录，确认是否在项目根目录：print(os.getcwd())
• 启用verbose模式加载dotenv，查看是否成功找到文件：print(load_dotenv(env_path, verbose=True))（返回True则加载成功）
• 打印变量值，确认是否正确读取：print(os.getenv('SERVER_IP'))

内容的提问来源于stack exchange，提问作者rom