ADF批量加载Parquet文件出现schema drift的最优处理方案咨询

1. 全量文件遍历与列提取实现 #

你当前使用的通配符路径2021/**/*.parquet无需调整，两种工具都可以直接基于该路径实现指定列读取：

• 映射数据流场景：关闭源配置中的「允许schema漂移」开关，直接导入你已有的200列Schema模板，数据流读取时会自动忽略Parquet文件中额外的遗留列，不会触发schema漂移逻辑，也不会加载冗余数据。
• Copy活动场景：在源数据集的Schema页导入200列标准模板，或在Copy活动的「映射」 tab 手动删除不需要的列，Copy活动会直接按指定列读取Parquet文件，仅加载目标列数据。

Parquet本身为列存储格式，指定列读取的IO开销远低于全列读取，不会产生额外性能损耗。

2. Copy活动与映射数据流选型 #

该场景优先选择Copy活动，理由如下：

• 你的需求仅为列裁剪，无聚合、关联、行级数据清洗等深度转换操作，Copy活动不需要启动Spark集群，执行效率比映射数据流高40%以上，资源成本也更低。
• 映射数据流仅在需要复杂数据转换逻辑时才有使用价值，当前场景使用属于过度设计，反而会提升运维复杂度。

3. 预合并大文件必要性判断 #

不需要提前将月/年度数据合并为单个文件，原因如下：

• 单小时级的Parquet小文件指定列读取的开销极低，合并文件需要额外占用Blob临时存储，增加了不必要的处理步骤。
• 可直接在Copy活动设置中调大「并行复制」数值（最高可设为256），根据SQL Server的负载能力调整并行度，多线程并行读取小文件写入SQL的效率远高于合并后单线程加载。
• 后续如果有增量同步需求，可直接按分区筛选新增日期的文件，不需要重复处理历史合并文件，运维成本更低。

批量加载优化建议 #

• 写入SQL Server时开启Copy活动的「批量插入」选项，按单批次10万行的量级调整批次大小，避免单次写入对数据库产生过大压力。
• 如果使用Azure SQL，可开启「分块写入」配置进一步提升写入速度。

内容的提问来源于stack exchange，提问作者user2181700