Azure Synapse传递null作为文件名参数时自动生成schema.table格式文件名的原因咨询
Azure Synapse传递null作为文件名参数时自动生成schema.table格式文件名的原因咨询
大家好,我最近在Azure Synapse里搭建了一个数据管道,流程是这样的:
- 用Lookup活动读取一个CSV文件
- 用Foreach活动遍历CSV里的每一行数据,根据每行的参数从数据库拉取对应数据
CSV的表头结构是dbName, schema, src_table, dest_table,各字段的作用:
dbName:要拉取数据的目标数据库名称schema:源表所属的架构名src_table:要提取数据的源表名dest_table:数据要存入Blob Storage的目标文件名
现在遇到一个奇怪的情况:当Lookup读取到某行的dest_table值为null时,我把这个null作为参数传给ADLS Parquet类型的sink数据集(数据集里定义的参数是fileName),但最终生成的Parquet文件名却是schema.src_table的格式——也就是自动用CSV里的schema和src_table拼接成了文件名。
我检查了sink数据集的配置,是直接绑定fileName参数的,没有手动设置默认值或者 fallback 逻辑,但为什么传递null的时候会自动生成这个格式的文件名呢?有没有了解Synapse这个逻辑的朋友帮忙解释下?
备注:内容来源于stack exchange,提问作者Marcus Persson
相关产品推荐
相关产品推荐

