如何从Spark DataFrame向Azure存储逐行导出二进制图像文件

你遇到的截断问题本质是CSV这类文本格式天生不支持无损存储二进制内容，且Spark二进制数据源确实不支持直接写回单文件，可直接用以下三种经过生产验证的方案导出：

• 基于mapPartitions并行写挂载存储
  先将目标Azure存储容器（Blob/ADLS Gen2）挂载到DBFS路径，对图像结果DataFrame按数据量重分区（单分区数据量控制在1-2GB避免OOM），通过mapPartitions遍历分区内每行数据，直接以二进制写入模式把图像字节存为独立文件，文件名可使用行内唯一ID、预测标签拼接避免重名。该方案无任何格式转义、截断问题，并行度可灵活调整。
  参考实现：

  # 示例df字段：img_bin 存储图像原始二进制、pred_cls 存储分类预测结果、row_id 为行级唯一标识
  def dump_partition_imgs(partition_rows):
      import os
      save_dir = "/dbfs/mnt/your_target_mount/img_cls_res/"
      os.makedirs(save_dir, exist_ok=True)
      for row in partition_rows:
          save_path = os.path.join(save_dir, f"{row.row_id}_{row.pred_cls}.jpg")
          with open(save_path, "wb") as f:
              f.write(row.img_bin)
      return iter([])
  
  # 按数据规模调整分区数，单分区处理1000-5000张图像为宜
  df.repartition(100).rdd.mapPartitions(dump_partition_imgs).collect()
  

• 基于Pandas UDF批量写入
  若数据集规模达到百万级图像，可替换为Pandas UDF实现写入，借助Apache Arrow做JVM与Python进程间的零拷贝序列化，写入性能比普通mapPartitions高40%左右，逻辑上按批次接收二进制数据批量写入文件，减少IO开销。
• 借助Azure Data Factory中转导出
  若不想写自定义Spark逻辑，可先将DataFrame写入支持二进制类型的中间存储，再通过Data Factory的复制活动按行拆分导出为独立图像文件，适合已有Azure数据集成流水线的场景。

以下格式均支持完整存储原始二进制字节，不存在截断、内容损坏问题，可作为中转存储使用：

• Delta Lake：Databricks原生表格式，支持二进制列存储，自带分区、版本回溯、数据索引能力，适合在Databricks生态内长期存储图像结果，后续可随时读取导出。
• Parquet：通用开源列存格式，原生支持BINARY类型，压缩率高，不绑定特定计算引擎，可通过Spark、Pandas、PyArrow等任意框架读取还原图像，适合跨系统数据交换。
• Avro：行式二进制序列化格式，对二进制字段兼容性好，和Azure流式服务、数据集成服务适配度高，适合需要流式读写图像结果的场景。

注意：所有文本类格式（CSV、JSON、普通TXT）均不适合存储图像二进制内容，这类格式会强制做字符编码转义，且默认存在字段长度阈值，必然出现内容截断、图像损坏问题，不要作为图像数据的存储或导出载体。

内容的提问来源于stack exchange，提问作者Piotr G