如何在Snowflake中导入自定义Python模块并在Snowpark UDF中使用？

错误原因分析 #

1. 方式一错误：session.add_packages() 是用于从PyPI安装第三方包的接口，无法识别自定义模块，因此触发报错。
2. 方式二错误：直接执行import test_module时，Python默认的模块搜索路径不包含Snowflake存放导入文件的临时目录，导致无法找到目标模块。
3. add_import拼写错误不报错：该方法仅在任务实际执行（如运行UDF、存储过程或Snowpark代码）时才会验证路径有效性，调用阶段不会即时校验。

正确导入方法 #

方法1：修改sys.path后导入

通过session.get_imports_dir()获取Snowflake存放导入文件的临时目录，将其添加到Python的模块搜索路径中，即可正常导入模块：

import sys
from snowflake.snowpark import Session

# 初始化Snowpark会话
session = Session.builder.configs({"account": "你的账户", "user": "你的用户名", ...}).create()

# 添加阶段中的模块文件到导入列表
session.add_import('@PUBLIC.TEST_STAGE/test_module.py')

# 获取导入文件的存放目录并添加到sys.path
import_dir = session.get_imports_dir()
sys.path.append(import_dir)

# 导入并使用模块
import test_module
result = test_module.return_string("Hello")
print(result)  # 输出: Hello from function

方法2：使用importlib加载模块

如果不想修改sys.path，可以用importlib直接从指定路径加载模块：

import importlib.util
import os
from snowflake.snowpark import Session

session = Session.builder.configs(...).create()
session.add_import('@PUBLIC.TEST_STAGE/test_module.py')

import_dir = session.get_imports_dir()
module_path = os.path.join(import_dir, 'test_module.py')

# 加载模块
spec = importlib.util.spec_from_file_location("test_module", module_path)
test_module = importlib.util.module_from_spec(spec)
spec.loader.exec_module(test_module)

# 使用函数
result = test_module.return_string("Hello")
print(result)

内容的提问来源于stack exchange，提问作者Dmytro Sly