Dataproc提交PySpark任务时.env文件加载失败的解决方案咨询

你遇到的IOError('Starting path not found')是因为：

• dotenv.find_dotenv()默认从当前工作目录向上递归查找.env文件，但Dataproc提交PySpark任务时，主文件和依赖包会被解压到集群节点的临时目录（比如/tmp/xxx），无法匹配你本地的目录结构。
• 你用的--properties-file参数是用来加载Spark/Hadoop的集群配置属性（如spark.driver.memory），不是用来将.env文件部署到代码可访问的路径，所以dotenv根本找不到这个文件。

以下是适合生产环境的几种处理方式，按推荐优先级排序：

1. 使用Google Cloud Secret Manager存储凭证（最安全） #

将API凭证存入Secret Manager，通过Dataproc集群的服务账号权限读取，全程无需暴露明文凭证：

步骤： #

• 给Dataproc集群的默认服务账号添加Secret Manager Secret Accessor角色
• 代码中用Google Cloud客户端库读取密钥：

from google.cloud import secretmanager

def get_secret(project_id, secret_id):
    client = secretmanager.SecretManagerServiceClient()
    secret_name = f"projects/{project_id}/secrets/{secret_id}/versions/latest"
    response = client.access_secret_version(request={"name": secret_name})
    return response.payload.data.decode("utf-8")

# 读取API凭证
api_key = get_secret("your-gcp-project-id", "your-api-key-secret")

这种方式适合后续其他服务调用的场景，权限管控清晰，无凭证泄露风险。

2. 通过Dataproc任务参数设置环境变量 #

直接在提交任务时指定环境变量，代码中直接读取，无需依赖dotenv：

gcloud dataproc jobs submit pyspark gs://tabsearch/main.py \
 --cluster=tabsearch-cluster \
 --region=us-central1 \
 --py-files=gs://tabsearch_poc/src.zip \
 --properties "spark.driverEnv.YOUR_API_KEY=your-key,spark.executorEnv.YOUR_API_KEY=your-key"

代码中读取：

import os
api_key = os.getenv("YOUR_API_KEY")

如果需要多个凭证，直接在--properties里添加更多spark.driverEnv.xxx和spark.executorEnv.xxx键值对。

3. 将.env打包到依赖包中，指定路径读取 #

如果一定要保留dotenv的使用方式，把.env文件打包到src.zip的根目录，然后修改代码直接指定文件路径，不要用find_dotenv()：

步骤： #

• 打包src.zip时，将.env放在zip包的根目录（和src文件夹同级）
• 修改代码：

from dotenv import load_dotenv
import os

# 直接指定.env路径，因为src.zip会被加入Python路径
env_path = os.path.join(os.path.dirname(__file__), "../.env")
load_dotenv(env_path)

提交任务时无需再指定--properties-file参数。

内容的提问来源于stack exchange，提问作者Frank Pinto