如何实现3000万行PySpark DataFrame/Parquet高效写入DynamoDB
3000万行规模PySpark/Parquet数据写入DynamoDB的排障与高效实现方案
现有受阻的三类实现方案复盘
方案1:boto3+pandas结合批量写入
- 实现流程:读取Parquet文件转换为pandas DataFrame,通过
batch_writer接口逐行写入DynamoDB表 - 存在问题:写入效率极低、耗时过长
- 原实现代码:
import boto3 dynamodb = boto3.resource('dynamodb', region_name='name') table = dynamodb.Table('DynamoDB_table_name') with table.batch_writer() as batch: for index, row in pandas_dataframe.iterrows(): batch.put_item( Item = { 'column_name_DynamoDB_table': int(row['column_name_in_pandas_dataframe']), ... } )
方案2:boto3+PySpark SQL对接Hive DynamoDB StorageHandler
- 实现流程:创建存储ORC格式的临时表,将PySpark DataFrame注册为临时视图后写入临时表,再创建对接DynamoDB的存储映射表完成写入
- 存在问题:执行创建DynamoDB映射表的步骤时持续抛出
ParseException,提示STORED BY操作不被允许 - 原实现代码与报错:
-- Step 1 DROP TABLE IF EXISTS TEMP; CREATE TABLE TEMP( column_name_DynamoDB_table type, ... ) STORED AS ORC; --step 2.1 pyspark_dataframe.createOrReplaceTempView("df") --step 2.2 INSERT INTO temp SELECT * FROM df --step 3 CREATE TABLE TEMPTODYNAMO( column_name_DynamoDB_table type, ... ) STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' TBLPROPERTIES ( "dynamodb.table.name" ="temp-to-dynamo" , "dynamodb.column.mapping" = "col1:column_name_DynamoDB_table,...");
报错信息:
Error in SQL statement: ParseException: Operation not allowed: STORED BY(line 22, pos 0) == SQL == CREATE TABLE TEMPTODYNAMO( column_name_DynamoDB_table type, ... ) STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' ^^^ TBLPROPERTIES ( "dynamodb.table.name" ="temp-to-dynamo" , "dynamodb.column.mapping" = "col1:column_name_DynamoDB_table,...")
方案3:audienceproject开源Spark-DynamoDB连接器写入
- 官方参考示例:
# 从Dynamo表读取数据,单次扫描完成schema推理 dynamoDf = spark.read.option("tableName", "SomeTableName") \ .format("dynamodb") \ .load() # 扫描表读取前100条记录并打印 dynamoDf.show(100) # 写入到其他Dynamo表,相同主键的记录会被覆盖 dynamoDf.write.option("tableName", "SomeOtherTable") \ .format("dynamodb") \ .save()
- 自行调整后的实现代码:
pysaprk_dataframe.write.option("tableName", "name_DynamoDB_table") \ .format("dynamodb") \ .save()
- 存在问题:执行时抛出
AnalysisException,提示DynamoDB表提供器不支持ErrorIfExists写入模式,需改用Append或Overwrite模式
千万级数据量高效写入的可落地路径
三个受阻点的根因与直接修复
- 方案1效率问题修复
- 根因:3000万行规模下,pandas单节点处理首先会受内存限制,且
iterrows()本身的迭代性能极差,单线程调用boto3写入完全无法打满DynamoDB的写入吞吐,哪怕替换为itertuples做迭代优化,也无法解决单节点瓶颈 - 正确实现:放弃单节点pandas处理逻辑,直接基于Spark分布式分片读取Parquet文件,在每个Executor端通过boto3按照DynamoDB的BatchWriteItem接口上限(单批次25条记录)拆分批次并发写入,全程分布式并行,无单节点性能瓶颈
- 根因:3000万行规模下,pandas单节点处理首先会受内存限制,且
- 方案2的ParseException修复
- 根因:当前使用的托管Spark发行版默认对自定义StorageHandler的SQL DDL操作做了权限拦截,不允许通过SQL语法直接挂载外部存储表;部分新版Spark版本已经移除了内置的Hive DynamoDB StorageHandler依赖,即使放开权限也会找不到对应的实现类
- 路径建议:该方案维护成本极高,不建议继续在排障上投入时间,直接替换为成熟的开源连接器完成写入
- 方案3的AnalysisException修复
- 根因:连接器默认采用的写入模式为
ErrorIfExists,即目标表如果已有存量数据就直接抛出异常,不需要修改连接器核心配置,只需要在写入时显式指定匹配的写入模式即可 - 最小修复代码:
- 根因:连接器默认采用的写入模式为
pysaprk_dataframe \ .write \ .format("dynamodb") \ .option("tableName", "name_DynamoDB_table") \ .mode("append") # 按业务需求选择:追加写入用append,如需清空全表后写入用overwrite .save()
- 注意:连接器的`overwrite`模式实现为清空目标表全量数据后再写入,千万级规模场景下如果目标表有存量业务数据,严禁随意使用该模式
写入性能优化配置
- 写入前调整PySpark DataFrame的分区数:3000万行规模下,按单分区承载1000-3000条写入记录计算,对应1万-3万个分区,避免分区数过少导致单Executor写入压力过大、分区数过多导致任务调度开销过高
- 匹配DynamoDB的接口限制配置批量参数:通过连接器的可选参数设置单批次写入25条记录,完全匹配DynamoDB的BatchWriteItem接口上限,减少无效的API调用次数
- 按DynamoDB表的分区键做数据重分区:避免所有写入请求集中打到单个分区键上,触发DynamoDB的写入限流
- 关闭不必要的前置校验:如果业务不需要做记录存在性判断,关闭连接器默认的写入前读校验逻辑,减少额外的读请求消耗
内容的提问来源于stack exchange,提问作者Joe
相关产品推荐
相关产品推荐

