Synapse无服务器池外部表：处理含逗号列的分隔符冲突问题

完全可以通过Synapse数据流实现Description列内逗号替换为空格的需求，具体操作步骤如下：

• 步骤1：构建数据流并配置源
  在Synapse Studio新建数据流，选择目标CSV文件作为源数据集。注意源数据集暂时按现有逗号分隔符配置即可，后续在数据流中处理列错位问题。

• 步骤2：先读取整行内容，拆分出目标列
  由于源文件中Description列含逗号，直接按逗号拆分会导致列错位，所以先把整行作为单个字符串字段读取：

  1. 在源转换的「投影」设置里，将输出列改为单个字段（比如命名为raw_line），数据类型设为字符串。
  2. 添加「派生列」转换，根据CSV的列固定顺序拆分字段：
     • 假设CSV列顺序为列1,列2,Description，且前两列不含逗号：
       • 生成列1：split(raw_line, ',')[0]
       • 生成列2：split(raw_line, ',')[1]
       • 生成Description_raw：join(slice(split(raw_line, ','), 2, size(split(raw_line, ','))), ',')
         这个操作会把前面的分隔符逗号拆分出来，将后面所有被错误拆分的片段重新拼接成原始的Description内容（包含逗号）。

• 步骤3：替换Description列内的逗号
  再添加一个「派生列」转换，针对Description_raw列使用表达式：

  replace(Description_raw, ',', ' ')
  

  生成新的Description列，即可将内容里的逗号全部替换为空格。

• 步骤4：输出处理后的数据（可选）
  如果需要将处理后的数据作为新的外部表数据源，添加「接收器」转换，选择对应的存储数据集（比如新的CSV文件），配置好输出格式。此时新文件中的Description列已无逗号，可正常用逗号作为分隔符创建无服务器池的外部表。

注意：上述方法的前提是除了Description列，其他列的内容均不含逗号，且CSV的列顺序固定。如果其他列也存在含逗号的情况，由于源文件没有用引号包裹特殊内容，这种场景下无法通过简单的拆分逻辑准确识别分隔符，需要结合源文件的具体格式调整处理逻辑。

内容的提问来源于stack exchange，提问作者Ahan