如何在Azure Data Factory数据流中自动排除所有复杂列？

方法1：规则映射结合类型判断（推荐） #

在Select活动的规则映射里，直接用类型条件自动过滤复杂结构列，无需手动指定列名：

• 打开Select活动的规则映射面板，选择「添加规则」
• 在规则的「列名」条件中，输入表达式：

  !isComplex(type)
  

• 这个表达式会自动筛选出所有非复杂类型的列（如字符串、数字、日期等），自动跳过数组、嵌套对象这类复杂结构列，完全适配动态数据流需求

方法2：派生列预处理（可选） #

如果后续需要对部分复杂列做扁平化处理，可先通过派生列活动批量筛选非复杂列：

• 新增派生列活动，选择「添加规则」
• 规则条件同样使用!isComplex(type)，生成仅包含非复杂列的数据集，再将该数据集传入后续的SQL写入环节

注意事项 #

• 确保Cosmos DB源数据集未启用「投影」配置，避免提前过滤列破坏数据流的动态性
• 可通过数据流预览功能验证筛选后的列是否符合预期，防止遗漏必要字段

内容的提问来源于stack exchange，提问作者BlakeB9