DDB表批量插入时无法更新全部数据的问题求助
DDB表批量插入时无法更新全部数据的问题求助
大家好,我最近在用DynamoDB批量插入数据时碰到了一个棘手的问题,想请教下有没有同学遇到过类似情况:
我在Linux终端运行一段Python代码,原本是要往名为dummy_table的表里批量插入5000条记录,每条记录包含Time(带美国东部时区的当前时间)和Message(计数器格式的文本)。前几次执行都很顺利,所有5000条数据都能成功插入;但当表中的数据量达到5万条之后,后续的执行就没法插入满预期的5000条了,每次只有几百条能成功写入。
我的代码如下:
import boto3 from botocore.exceptions import ClientError import datetime import dateutil.tz dynamodb = boto3.resource('dynamodb', region_name='us-east-2') table_bms = dynamodb.Table('dummy_table') def update_tables(): try: eastern = dateutil.tz.gettz('US/Eastern') with table_bms.batch_writer() as writer: for i in range(5000): msg = f"counter {i}" writer.put_item(Item={"Time": datetime.datetime.now(tz=eastern).strftime('%m/%d/%Y %H:%M:%S.%f %Z'), "Message": msg}) except ClientError as err: print( "Couldn't load data into table %s. Here's why: %s: %s", err.response["Error"]["Code"], err.response["Error"]["Message"], )
有没有同学之前遇到过类似的问题?能不能给我一些排查方向或者解决建议呀?
备注:内容来源于stack exchange,提问作者Sam
相关产品推荐
相关产品推荐

