使用DynamoDB控制台从S3导入无唯一ID的CSV时如何自动生成ID？

DynamoDB控制台的「从S3导入」功能本身不支持直接自动生成主键，不过可以通过以下两种方案解决：

方案一：预处理CSV文件，添加唯一ID列 #

直接给CSV新增一列唯一ID，再上传到S3进行导入：

• 用脚本快速生成ID，比如Python脚本（生成UUID作为唯一标识，避免冲突）：

import csv
import uuid

input_csv = "原始文件.csv"
output_csv = "带ID的文件.csv"

with open(input_csv, 'r', newline='') as infile, open(output_csv, 'w', newline='') as outfile:
    reader = csv.DictReader(infile)
    # 把id列加到表头最前面
    fieldnames = ['id'] + reader.fieldnames
    writer = csv.DictWriter(outfile, fieldnames=fieldnames)
    
    writer.writeheader()
    for row in reader:
        row['id'] = str(uuid.uuid4())
        writer.writerow(row)

• 处理完成后，将新CSV上传到S3，再在导入时指定id作为分区键即可。

方案二：导入时通过Lambda自动生成ID #

如果不想手动修改CSV，可以借助Lambda函数在导入过程中动态添加ID：

1. 创建Lambda函数，编写处理逻辑：接收导入的每条CSV记录，生成UUID并添加为id字段，返回处理后的记录。示例代码：

import uuid

def lambda_handler(event, context):
    output_records = []
    for record in event['records']:
        # 解码CSV行数据
        raw_data = record['data'].decode('utf-8')
        # 按逗号分割成字段（如果CSV有转义逗号，建议用csv模块解析）
        fields = raw_data.split(',')
        # 构造DynamoDB条目，添加ID
        item = {
            'id': str(uuid.uuid4()),
            # 替换成你的CSV实际列名和对应字段
            '列1': fields[0],
            '列2': fields[1]
        }
        # 将处理后的条目转回CSV格式（或按需用JSON）
        processed_data = ','.join([item['id']] + fields)
        output_records.append({
            'recordId': record['recordId'],
            'result': 'Ok',
            'data': processed_data.encode('utf-8')
        })
    return {'records': output_records}

2. 在DynamoDB控制台导入流程中，找到「转换」选项，关联这个Lambda函数。
3. 导入配置里指定id作为分区键，完成导入。

注意事项 #

• UUID作为分区键是通用选择，能避免并发场景下的ID冲突；如果用自增ID，需要额外处理冲突问题。
• 确保Lambda函数有足够的权限访问S3和DynamoDB导入相关资源。

内容的提问来源于stack exchange，提问作者Lolli Group