使用Azure Synapse处理含回车换行的SharePoint Excel数据入库问题

一、从Excel源头清除隐藏换行符 #

问题根源是Excel自由文本列中的\r\n，可以在数据提取阶段直接处理：

• 调用SharePoint API获取数据后，针对目标自由文本列，在返回的JSON结果中执行字符串替换，把\r\n或\n替换为空格/自定义占位符（比如[LINE_BREAK]），避免后续导出CSV时破坏行结构。
• 若用Synapse Data Factory管道调用API，可在数据流动中添加派生列，用表达式replace(columnName, '\n', ' ')批量处理换行符。

二、优化PySpark Notebook处理逻辑 #

跳过DataFrame列解析，直接以纯文本方式处理整个文件，绕开换行符导致的结构混乱：

1. 从Blob读取文件为完整文本：

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

# 读取Blob文件为文本RDD并拼接成完整字符串
text_rdd = spark.sparkContext.textFile("wasbs://<container>@<storage-account>.blob.core.windows.net/<file-path>.csv")
full_text = "\r\n".join(text_rdd.collect())

2. 执行你的替换逻辑：

# 标记有效行尾的换行符
processed_text = full_text.replace(',\r\n', '!NEWLINE!')
# 清除所有零散换行符
processed_text = processed_text.replace('\r\n', ' ')
# 恢复有效行尾换行符
processed_text = processed_text.replace('!NEWLINE!', ',\r\n')

3. 写回处理后的文件到Blob：

# 将处理后的文本转为RDD并写入指定路径
spark.sparkContext.parallelize([processed_text]).saveAsTextFile("wasbs://<container>@<storage-account>.blob.core.windows.net/<processed-file-path>")

三、用Azure Synapse Data Factory（ADF）实现无代码自动化 #

借助ADF数据流动批量处理文件：

1. 配置CSV数据源：将行分隔符设为一个不会出现在文本中的特殊字符（比如|），同时开启引号字符为"，让ADF正确识别被引号包裹的带换行单元格。
2. 添加派生列转换：针对自由文本列，用replace(replace(columnName, '\r', ''), '\n', ' ')清除所有换行符。
3. 配置CSV接收器：恢复行分隔符为\r\n，写入处理后的文件到Blob。
4. 设置管道触发器：配置每周定时触发，自动批量处理多份文件。

四、研究方向 #

• Microsoft Graph API Excel提取优化：研究Graph API中Excel操作的格式化参数，是否支持提取时直接移除单元格内的换行符。
• Synapse PolyBase外部表配置：若直接用PolyBase导入CSV到SQL池，可通过配置FIELDTERMINATOR、ROWTERMINATOR和QUOTE参数，让系统正确识别带换行的引号包裹单元格，避免行拆分错误。
• Azure Logic Apps自动化流程：用Logic Apps连接SharePoint与Blob，在中间步骤添加字符串处理动作，无需代码即可实现每周批量清除换行符的自动化。

内容的提问来源于stack exchange，提问作者NatalieEV