Dataverse表导出至Data Lake时的逗号分隔符问题

针对你遇到的字段含逗号导致CSV解析失败的问题，给你几个实用的解决方向：

1. 从源头上避免：改用Parquet格式导出 #

Synapse Link支持将Dataverse数据导出为Parquet格式，这是一种无分隔符依赖的列式存储格式，完全不会出现分隔符冲突的问题，而且查询性能比CSV更好。在配置Synapse Link的表导出设置时，直接选择Parquet作为输出格式即可，从根源上解决问题。

2. 配置CSV解析规则（无需修改源数据） #

标准CSV规范中，含分隔符的字段会被双引号包裹，你只需要在后续的CopyData任务或Synapse解析环节正确配置文本限定符即可：

• 在Data Factory的Copy Activity源设置里，找到CSV格式的配置项，将Quote character设置为"，同时开启Escape character为"（处理字段内的双引号转义）。这样解析器会自动识别双引号包裹的完整字段，忽略其中的逗号。
• 如果用Synapse Spark读取CSV，执行类似以下代码：

df = spark.read.format("csv")
  .option("header", "true")
  .option("quote", "\"")
  .option("escape", "\"")
  .load("abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<文件路径>")

3. 预处理Dataverse中的逗号字段 #

如果必须用CSV格式，可以在导出前修改Dataverse中的数据：

• 用Power Automate创建定时流，遍历目标表的记录，将字段中的逗号替换为其他不冲突的字符（比如分号;、竖线|），然后再通过Synapse Link导出。
• 对于可计算的字段，直接在Dataverse中创建计算字段，替换原始字段中的逗号后导出计算字段。

4. 后期转换CSV格式 #

如果已经导出了有问题的CSV文件，可以在ADLS Gen2上用Synapse数据流或Spark任务重新处理：

• 读取原始CSV时配置正确的引号规则，然后将数据重新导出为自定义分隔符的CSV文件（比如指定分隔符为|），供后续任务使用。

内容的提问来源于stack exchange，提问作者Mutation Person