Palantir Foundry中如何检测Transform是否处于预览运行模式?
检测PySpark Transform预览状态以避免无效API调用
可以通过检查运行时的环境变量来判断Transform是否处于预览模式,从而跳过API调用逻辑。
代码修改示例
from transforms.api import transform_df, Input, incremental import os @incremental() @transform_df( df=Input("my_input") ) def compute(df): # 读取环境变量判断是否为预览模式 is_preview = os.getenv("TRANSFORM_PREVIEW", "false").lower() == "true" if is_preview: # 预览模式下返回空DataFrame或输入样本,不触发API调用 return df.limit(0) # 正式运行时执行API调用 return make_api_call(df)
注意事项
- 不同平台的预览模式环境变量可能不同,若
TRANSFORM_PREVIEW不生效,可通过print(os.environ)打印所有环境变量,找到对应标识(比如部分平台用PREVIEW_MODE) - 预览时也可返回输入数据的小样本(如
df.limit(10)),既满足预览展示需求,又避免无效API请求
内容的提问来源于stack exchange,提问作者hjones
相关产品推荐
相关产品推荐

