DLT多Notebook间通用UDF动态复用可行性方案咨询

问题背景 #

需要在DLT流水线的多个Notebook中实现通用UDF的动态复用，避免代码重复，维护一个集中管理的通用UDF位置。此前尝试通过sys.path.append导入模块的方式未成功，具体代码如下：

import sys
sys.path.append("file_path.py")
from Functions import get_schema_for_action, map_yaml_to_pyspark_type, load_config

可行解决方案 #

1. 基于Databricks工作区库的模块导入 #

• 将通用UDF代码整理为标准Python包结构：在工作区指定路径（如/Workspace/Shared/udf_lib/）下创建Functions.py，同时添加空的__init__.py文件以标识为Python包。
• 在DLT Notebook中直接通过工作区路径导入：

  from workspace.Shared.udf_lib.Functions import get_schema_for_action, map_yaml_to_pyspark_type, load_config
  

• 确保DLT流水线拥有该工作区路径的读取权限。

2. 借助Databricks Repos实现版本化复用 #

• 将通用UDF代码托管到Git仓库，通过Databricks Repos克隆到工作区。
• 在DLT Notebook中从Repos路径直接导入模块：

  from repos.你的团队名.你的仓库名.udfs.Functions import get_schema_for_action, map_yaml_to_pyspark_type, load_config
  

• 此方式支持版本控制，便于团队协作维护UDF代码。

3. DLT内置的共享Notebook引用 #

• 将所有通用UDF定义在一个独立Notebook中（如/Workspace/Shared/Common_UDFs）。
• 在需要复用的DLT Notebook顶部，通过%run命令加载共享Notebook：

  %run "/Workspace/Shared/Common_UDFs"
  

• 执行后，共享Notebook中定义的UDF和函数会直接在当前Notebook上下文生效，无需额外导入。

原方案失败原因分析 #

• sys.path.append("file_path.py")路径写法错误：应添加包含Functions.py的目录路径而非文件路径，正确写法示例：

  import sys
  sys.path.append("/path/to/directory-containing-Functions/")
  from Functions import ...
  

• DLT执行环境对本地路径访问有限制，直接使用文件路径可能存在权限或路径解析问题。

内容的提问来源于stack exchange，提问作者aswitha