Azure Synapse读取Azure存储Gen2中Parquet文件遇占用/拷贝损坏问题求助

一、写入端原子化处理 #

• 应用写入Parquet文件时，先将文件写入临时目录（如/temp/），待全部写入、预处理完成后，通过Azure Storage的原子重命名操作将文件移动到目标目录。这样Synapse管道读取的都是完全写入完成的文件，不会碰到半写入的损坏文件。
• 实操示例：先写入your-container/temp/file.parquet.tmp，确认写入完成后，调用Storage SDK的重命名接口，将文件移至your-container/target/file.parquet。

二、读取端过滤未完成文件 #

• 基于文件名规则过滤临时文件：约定写入中的文件后缀为.tmp，读取时仅加载.parquet后缀的文件。
• Synapse Spark读取示例：

  from pyspark.sql import SparkSession
  spark = SparkSession.builder.getOrCreate()
  df = spark.read.parquet("abfss://your-container@your-storage.dfs.core.windows.net/target/") \
      .filter(lambda path: not path.endswith(".tmp"))
  

• Synapse Copy Activity配置：在源数据集的文件路径中设置筛选器，使用通配符*.parquet排除临时文件。

三、正确生成快照避免原文件损坏 #

• 复制前确保文件完全写入：通过原子写入策略，仅复制目标目录下的成品文件。
• 时间差筛选复制：在Synapse管道的Copy Activity中，添加文件最后修改时间过滤，只复制写入完成超过一定时长（如5分钟）的文件，避开正在写入的文件。
• 用原子复制操作：通过Azure Storage SDK或Synapse管道完成复制，避免手动操作引发的写入流冲突。

四、开启存储账户数据保护机制 #

• 开启Azure Storage Gen2的Blob版本控制和软删除功能：即使文件意外损坏，也可恢复至之前的完整版本，避免数据丢失。
• 配置路径：Azure门户进入存储账户，在「数据保护」设置中开启对应功能并设置保留期限。

内容的提问来源于stack exchange，提问作者david rivero