Python解析XML写入AWS DynamoDB仅成功写入一行数据问题

这种情况我太熟悉了！之前帮同事排查过几乎一模一样的问题——print能输出所有数据，但DynamoDB只进了一行，大概率是踩了这几个坑里面的一个，咱们一步步来捋：

1. 主键重复导致数据被覆盖 #

DynamoDB的核心规则是主键（分区键+排序键）唯一，如果你的写入请求里，每次用的主键值都是同一个，那后面的写入会直接覆盖前面的。比如：

• 如果你表的分区键是某个固定值（比如id设成了常量1），那所有写入都会往同一条数据上怼；
• 或者你没把提取到的<IMAGE_ID>作为主键，而是用了其他重复的值。

解决办法：

• 先去DynamoDB控制台确认你的表主键设置，确保<IMAGE_ID>是分区键（或者复合主键的一部分），这样每条数据的主键都是唯一的；
• 写代码时，put_item的Item里，主键字段一定要用提取到的IMAGE_ID值，而不是固定字符串。

2. 写入代码没放在循环内部 #

别笑，真的很多人会犯这个错——把table.put_item()放在了整个循环的外面，循环结束后只执行一次写入，自然只会把最后一组（或者第一组）数据写进去。

解决办法：
检查你的代码结构，确保每次解析出一组IMAGE_ID和CVSS_FINAL后，立刻调用DynamoDB的写入方法，而不是等循环跑完才写一次。

3. 异步写入未等待完成（如果用了异步客户端） #

如果你用的是aioboto3这类异步DynamoDB客户端，没等待每个put_item的协程完成，就会导致有些请求被丢弃，看起来只写了一行。

解决办法：
如果是异步场景，记得给每个put_item加上await；或者直接用同步的boto3，对新手更友好。

给你一个正确的示例代码 #

假设你的XML结构是这样的（比如每个数据项在<VULN>节点下）：

<ROOT>
  <VULN>
    <IMAGE_ID>img-123</IMAGE_ID>
    <CVSS_FINAL>7.8</CVSS_FINAL>
  </VULN>
  <VULN>
    <IMAGE_ID>img-456</IMAGE_ID>
    <CVSS_FINAL>9.1</CVSS_FINAL>
  </VULN>
</ROOT>

对应的Python代码：

import boto3
import xml.etree.ElementTree as ET

# 初始化DynamoDB资源
dynamodb = boto3.resource('dynamodb', region_name='你的区域')
table = dynamodb.Table('你的表名')

# 解析XML
tree = ET.parse('vulns.xml')
root = tree.getroot()

# 循环提取+写入
for vuln in root.findall('./VULN'):
    image_id = vuln.find('IMAGE_ID').text
    cvss_final = vuln.find('CVSS_FINAL').text
    
    print(f"提取到: IMAGE_ID={image_id}, CVSS={cvss_final}")
    
    # 写入DynamoDB，确保主键是image_id（和表的分区键一致）
    try:
        response = table.put_item(
            Item={
                'image_id': image_id,  # 这里字段名要和表的主键完全匹配
                'cvss_final': cvss_final
            }
        )
        print(f"成功写入 {image_id}")
    except Exception as e:
        print(f"写入 {image_id} 失败: {str(e)}")

进阶优化：用批量写入提升效率 #

如果数据量很大，循环里每次单独put_item效率很低，推荐用batch_writer：

with table.batch_writer() as batch:
    for vuln in root.findall('./VULN'):
        image_id = vuln.find('IMAGE_ID').text
        cvss_final = vuln.find('CVSS_FINAL').text
        
        print(f"提取到: IMAGE_ID={image_id}, CVSS={cvss_final}")
        
        batch.put_item(
            Item={
                'image_id': image_id,
                'cvss_final': cvss_final
            }
        )
print("所有数据批量写入完成！")

先按这个思路排查，大概率能解决问题。如果还是不行，可以把你的代码片段贴出来，我再帮你细看。

内容的提问来源于stack exchange，提问作者dmn0972