You need to enable JavaScript to run this app. 如何在Google Cloud Dataproc notebook中运行同目录.py文件并导入函数
优惠活动
大模型
产品
解决方案
定价
更多

如何在Google Cloud Dataproc notebook中运行同目录.py文件并导入函数

Dataproc Notebook调用自定义Python脚本/包解决方案

你提到的两类本地方案在Dataproc环境中均支持,此前操作未生效的核心原因是:Dataproc Notebook默认关联的存储是GCS对象存储,不会自动挂载到Notebook运行所在节点的本地文件系统,直接按GCS路径调用会找不到对应文件。

方法1:直接运行同路径下的.py文件

  • 先将GCS中存放的依赖文件夹同步到Notebook当前工作目录,执行命令:
    !gsutil cp -r gs://<你的GCS桶名>/<文件存放的前缀路径>/dependencies ./
  • 同步完成后即可直接执行脚本:
    !python ./dependencies/test1.py
  • 如果需要导入脚本中的函数,执行以下代码添加路径到Python搜索路径后导入即可:
import sys
# 将当前工作目录加入Python搜索路径
sys.path.insert(0, "./")
# 导入对应函数
from dependencies.test1 import 你需要的函数名

方法2:打包为自定义包安装使用

  • 本地先给依赖包添加setup.py配置文件,示例内容如下:
from setuptools import setup, find_packages

setup(
    name="dependencies",
    version="0.0.1",
    packages=find_packages(),
)
  • 本地执行python setup.py sdist打包生成tar.gz格式的安装包,将安装包上传到GCS
  • 在Dataproc Notebook中直接用pip安装GCS路径下的安装包:
    !pip install gs://<你的GCS桶名>/<安装包路径>/dependencies-0.0.1.tar.gz
  • 安装完成后即可在任意Notebook中全局导入使用:
    from dependencies import test1, test2

内容的提问来源于stack exchange,提问作者Azi M

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.07 19:45:02