Palantir Foundry中如何向Transform传递非数据集类输入？

问题原因 #

Foundry的@transform装饰器中的Input仅用于绑定Foundry数据集路径，不能直接传入普通Python对象（比如set、列表等）。你遇到的TypeError: unhashable type: 'set'，是因为Input要求传入的参数必须是可哈希类型（比如字符串路径），而集合（set）是不可哈希的，同时它也不属于Input的合法输入类型。

解决方案 #

根据你的需求场景，有两种可行的实现方式：

1. 直接将参数传入计算函数（固定参数场景） #

如果你的过滤条件是固定的、不需要在Foundry管线界面调整，直接在计算逻辑中引用参数即可，无需通过Input传递：

from transforms.api import transform, Input, Output

# 定义你的自定义过滤集合
my_custom_filter = {"a", "b", "c"}

@transform(
    output=Output("/path/to/your/output"),
    input_df=Input("/path/to/your/input"),
)
def my_computation(input_df):
    # 直接在函数内使用过滤参数
    filtered_df = input_df.filter(input_df.target_col.isin(my_custom_filter))
    return filtered_df

如果需要复用过滤逻辑，可以把逻辑抽成独立函数：

from transforms.api import transform, Input, Output

def apply_custom_filter(df, filter_set):
    return df.filter(df.target_col.isin(filter_set))

my_custom_filter = {"a", "b", "c"}

@transform(
    output=Output("/path/to/your/output"),
    input_df=Input("/path/to/your/input"),
)
def my_computation(input_df):
    return apply_custom_filter(input_df, my_custom_filter)

2. 使用@configurable定义可配置参数（动态调整场景） #

如果需要在Foundry管线配置界面灵活修改过滤条件，使用@configurable装饰器定义非数据集类型的配置项，支持字符串、列表等可序列化类型（注意：集合无法被序列化，需用列表代替后在函数内转成集合）：

from transforms.api import transform, Input, Output, configurable
from palantir_foundry.config import List

# 定义可配置参数，在Foundry界面可修改
@configurable()
def pipeline_config():
    return {
        # 用列表存储过滤值，后续转成集合使用
        "custom_filter_list": ["a", "b", "c"]
    }

@transform(
    output=Output("/path/to/your/output"),
    input_df=Input("/path/to/your/input"),
    config=pipeline_config(),
)
def my_computation(input_df, config):
    # 将列表转成集合，保留集合的特性
    custom_filter_set = set(config["custom_filter_list"])
    filtered_df = input_df.filter(input_df.target_col.isin(custom_filter_set))
    return filtered_df

配置完成后，你可以在Foundry的管线编辑界面找到这个配置项，直接修改列表内容，无需改动代码。

内容的提问来源于stack exchange，提问作者hbit