如何在Google Cloud Dataproc notebook中运行同目录.py文件并导入函数
Dataproc Notebook调用自定义Python脚本/包解决方案
你提到的两类本地方案在Dataproc环境中均支持,此前操作未生效的核心原因是:Dataproc Notebook默认关联的存储是GCS对象存储,不会自动挂载到Notebook运行所在节点的本地文件系统,直接按GCS路径调用会找不到对应文件。
方法1:直接运行同路径下的.py文件
- 先将GCS中存放的依赖文件夹同步到Notebook当前工作目录,执行命令:
!gsutil cp -r gs://<你的GCS桶名>/<文件存放的前缀路径>/dependencies ./ - 同步完成后即可直接执行脚本:
!python ./dependencies/test1.py - 如果需要导入脚本中的函数,执行以下代码添加路径到Python搜索路径后导入即可:
import sys # 将当前工作目录加入Python搜索路径 sys.path.insert(0, "./") # 导入对应函数 from dependencies.test1 import 你需要的函数名
方法2:打包为自定义包安装使用
- 本地先给依赖包添加
setup.py配置文件,示例内容如下:
from setuptools import setup, find_packages setup( name="dependencies", version="0.0.1", packages=find_packages(), )
- 本地执行
python setup.py sdist打包生成tar.gz格式的安装包,将安装包上传到GCS - 在Dataproc Notebook中直接用pip安装GCS路径下的安装包:
!pip install gs://<你的GCS桶名>/<安装包路径>/dependencies-0.0.1.tar.gz - 安装完成后即可在任意Notebook中全局导入使用:
from dependencies import test1, test2
内容的提问来源于stack exchange,提问作者Azi M
相关产品推荐
相关产品推荐

