如何使用ADF加载ADLS Gen2中结构有差异的Parquet文件至SQL表

按以下步骤配置管道即可直接落地：

源端文件扫描配置 #

• ADLS Gen2源数据集选择Parquet格式，文件路径配置多层通配符匹配规则：*/年/*/月/*/日/*/时/*/分/*.parquet，无需硬编码每一层目录的具体值，可自动覆盖全部分区下的Parquet文件
• 新增文件属性过滤规则：基于ADFS原生的文件LastModified属性，筛选修改时间早于当前时间2年以上的文件，直接剔除不符合存储周期要求的文件，减少无效扫描开销
• 源数据集不要手动导入固定schema，也不要开启默认的固定schema校验，否则系统会默认以第一个扫描到的文件结构作为全量数据schema，无法识别其他版本文件的差异字段

公共列自动提取逻辑 #

这部分不要用普通复制活动实现，普通复制活动无法处理跨文件的schema差异，直接使用映射数据流（Mapping Data Flow）完成：

• 数据流Source转换开启「允许架构漂移」「自动推断漂移列类型」开关，让ADF自动扫描所有匹配到的Parquet文件的全量字段，覆盖仅在部分版本存在的差异字段
• 接入Aggregate转换做两层全局统计：一是统计所有匹配到的文件总数量totalFileCnt = countDistinct(fileName())；二是打平所有行的字段名，统计每个字段在多少个不同文件中出现过
• 接入Filter转换，仅保留字段出现次数 = totalFileCnt的字段集合，这部分就是跨所有版本文件的公共列，将公共列的名称、对应数据类型拼接为数组存入数据流自定义参数
• 接入Select转换，配置动态列选择规则，仅选中参数中存储的公共列；对部分文件中公共列值缺失的行，统一按字段类型填充默认值：字符串类型填空串，数值类型填0，日期时间类型填null，避免写入时触发类型不匹配报错

注意：不要手动枚举公共列做硬编码映射，后续文件版本迭代发生schema变更时，手动维护的成本极高，动态统计的方式可以自动适配后续的schema变化，无需每次改管道配置

SQL目标端加载配置 #

• Sink转换选择对应SQL数据库的数据集，若目标SQL表尚未创建，直接开启Sink的「自动建表」选项，ADF会根据公共列自动推断的字段类型生成标准表结构；若目标表已存在，开启「自动映射漂移列」开关，无需手动逐列配置字段映射关系
• 性能调优：由于是累计2年的分钟级Parquet数据，将Sink写入批次大小调整为10000~50000行，开启按分区并行写入，加载速度较默认配置可提升3倍左右
• 写入模式选择「追加写入」即可，无需每次全量覆写，后续补跑数据时可按时间分区过滤需要重跑的目录，不用重跑全量2年数据

运行校验配置 #

管道末尾增加两个校验节点，避免脏数据写入：

• 行数校验：统计源端公共列过滤后的总行数，与SQL目标表写入完成后的总行数做比对，差值在0.1%以内即判定行数校验通过
• Schema校验：每次管道运行前先扫描待加载文件的公共列集合，若与历史记录的公共列列表存在差异，直接触发告警暂停运行，避免schema变更导致写入失败或数据缺失

内容的提问来源于stack exchange，提问作者sp_analytics