You need to enable JavaScript to run this app. 如何实现3000万行PySpark DataFrame/Parquet高效写入DynamoDB
优惠活动
大模型
产品
解决方案
定价
更多

如何实现3000万行PySpark DataFrame/Parquet高效写入DynamoDB

3000万行规模PySpark/Parquet数据写入DynamoDB的排障与高效实现方案

现有受阻的三类实现方案复盘

方案1:boto3+pandas结合批量写入

  • 实现流程:读取Parquet文件转换为pandas DataFrame,通过batch_writer接口逐行写入DynamoDB表
  • 存在问题:写入效率极低、耗时过长
  • 原实现代码:
import boto3

dynamodb = boto3.resource('dynamodb', region_name='name')
table = dynamodb.Table('DynamoDB_table_name')

with table.batch_writer() as batch:
    for index, row in pandas_dataframe.iterrows():
      batch.put_item(
          Item = {
              'column_name_DynamoDB_table': int(row['column_name_in_pandas_dataframe']),
              ...
          }
      )

方案2:boto3+PySpark SQL对接Hive DynamoDB StorageHandler

  • 实现流程:创建存储ORC格式的临时表,将PySpark DataFrame注册为临时视图后写入临时表,再创建对接DynamoDB的存储映射表完成写入
  • 存在问题:执行创建DynamoDB映射表的步骤时持续抛出ParseException,提示STORED BY操作不被允许
  • 原实现代码与报错:
-- Step 1
DROP TABLE IF EXISTS TEMP;
CREATE TABLE TEMP(
        column_name_DynamoDB_table type,
        ... )
 STORED AS ORC; 

--step 2.1
pyspark_dataframe.createOrReplaceTempView("df")

--step 2.2
INSERT INTO temp
    SELECT *
    FROM df

--step 3
CREATE TABLE TEMPTODYNAMO(
        column_name_DynamoDB_table type,
        ... )
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ( "dynamodb.table.name" ="temp-to-dynamo" , 
                "dynamodb.column.mapping" = "col1:column_name_DynamoDB_table,...");

报错信息:

Error in SQL statement: ParseException: 
Operation not allowed: STORED BY(line 22, pos 0)

== SQL ==
CREATE TABLE TEMPTODYNAMO(
        column_name_DynamoDB_table type,
        ...  )
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
^^^
TBLPROPERTIES ( "dynamodb.table.name" ="temp-to-dynamo" , 
                "dynamodb.column.mapping" = "col1:column_name_DynamoDB_table,...")

方案3:audienceproject开源Spark-DynamoDB连接器写入

  • 官方参考示例:
# 从Dynamo表读取数据,单次扫描完成schema推理
dynamoDf = spark.read.option("tableName", "SomeTableName") \
                     .format("dynamodb") \
                     .load()

# 扫描表读取前100条记录并打印
dynamoDf.show(100)

# 写入到其他Dynamo表,相同主键的记录会被覆盖
dynamoDf.write.option("tableName", "SomeOtherTable") \
              .format("dynamodb") \
              .save()
  • 自行调整后的实现代码:
pysaprk_dataframe.write.option("tableName", "name_DynamoDB_table") \
                .format("dynamodb") \
                .save()
  • 存在问题:执行时抛出AnalysisException,提示DynamoDB表提供器不支持ErrorIfExists写入模式,需改用Append或Overwrite模式

千万级数据量高效写入的可落地路径

三个受阻点的根因与直接修复

  1. 方案1效率问题修复
    • 根因:3000万行规模下,pandas单节点处理首先会受内存限制,且iterrows()本身的迭代性能极差,单线程调用boto3写入完全无法打满DynamoDB的写入吞吐,哪怕替换为itertuples做迭代优化,也无法解决单节点瓶颈
    • 正确实现:放弃单节点pandas处理逻辑,直接基于Spark分布式分片读取Parquet文件,在每个Executor端通过boto3按照DynamoDB的BatchWriteItem接口上限(单批次25条记录)拆分批次并发写入,全程分布式并行,无单节点性能瓶颈
  2. 方案2的ParseException修复
    • 根因:当前使用的托管Spark发行版默认对自定义StorageHandler的SQL DDL操作做了权限拦截,不允许通过SQL语法直接挂载外部存储表;部分新版Spark版本已经移除了内置的Hive DynamoDB StorageHandler依赖,即使放开权限也会找不到对应的实现类
    • 路径建议:该方案维护成本极高,不建议继续在排障上投入时间,直接替换为成熟的开源连接器完成写入
  3. 方案3的AnalysisException修复
    • 根因:连接器默认采用的写入模式为ErrorIfExists,即目标表如果已有存量数据就直接抛出异常,不需要修改连接器核心配置,只需要在写入时显式指定匹配的写入模式即可
    • 最小修复代码:
pysaprk_dataframe \
  .write \
  .format("dynamodb") \
  .option("tableName", "name_DynamoDB_table") \
  .mode("append") # 按业务需求选择:追加写入用append,如需清空全表后写入用overwrite
  .save()
- 注意:连接器的`overwrite`模式实现为清空目标表全量数据后再写入,千万级规模场景下如果目标表有存量业务数据,严禁随意使用该模式

写入性能优化配置

  • 写入前调整PySpark DataFrame的分区数:3000万行规模下,按单分区承载1000-3000条写入记录计算,对应1万-3万个分区,避免分区数过少导致单Executor写入压力过大、分区数过多导致任务调度开销过高
  • 匹配DynamoDB的接口限制配置批量参数:通过连接器的可选参数设置单批次写入25条记录,完全匹配DynamoDB的BatchWriteItem接口上限,减少无效的API调用次数
  • 按DynamoDB表的分区键做数据重分区:避免所有写入请求集中打到单个分区键上,触发DynamoDB的写入限流
  • 关闭不必要的前置校验:如果业务不需要做记录存在性判断,关闭连接器默认的写入前读校验逻辑,减少额外的读请求消耗

内容的提问来源于stack exchange,提问作者Joe

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 05:36:00