Azure Synapse隐式复制时转换CSV列名问题咨询

1. 无Parquet暂存是否支持隐式内联转换 #

不需要强制配置Parquet暂存存储即可完成数据复制过程中的转换操作。
Data Flow的原生执行逻辑本身就支持在数据从源端移动到接收器的过程中完成内联转换，中间数据默认在集成运行时（IR）的内存/本地磁盘做shuffle处理，不需要强制落地到Parquet格式的暂存容器。
注意：针对你提到的500GB级别的大体积CSV文件，配置暂存存储可以有效降低跨存储移动数据的网络开销、提升大任务运行稳定性，但这属于性能优化配置，不是实现数据转换的必要前置条件，不配置暂存不会导致转换逻辑无法执行。

2. 隐式转换实现方法（批量移除列名短横线示例） #

不需要写自定义脚本或者逐列修改，直接通过Data Flow内置的规则映射就能一次性完成全列名的批量处理，步骤如下：

• 源数据集配置：源指向Blob存储中的CSV文件，开启「允许架构漂移」选项，避免带短横线的列名触发架构校验报错。
• 添加选择转换：在源之后拖入「选择（Select）」转换，将默认的固定列映射模式切换为基于规则的映射。
• 配置批量替换规则：新增一条匹配规则，匹配条件填写true()（代表匹配源数据集中的所有列），列名生成表达式填写replace(name, '-', '')，该表达式会自动遍历所有匹配到的列，将列名中包含的所有短横线替换为空值，全程不需要手动指定单列表名。
• 接收器配置：将选择转换的输出直接连接到ADLS Gen2接收器，配置好目标路径/表名、写入模式即可。整个流程不需要添加中间暂存节点，运行管道时会在数据复制的流程中同步完成列名修改操作。

大文件运行提示：如果不启用暂存直接运行500GB规模的任务，建议将Data Flow对应的Azure IR计算规格调到32核及以上，同时开启源端CSV的分区读取，将单分区处理的数据量控制在10GB以内，避免单节点负载过高导致内存溢出、任务超时。如果运行过程中出现稳定性问题，再开启暂存配置即可，已经写好的转换逻辑不需要做任何调整。

内容的提问来源于stack exchange，提问作者Ahmad M.