DynamoDB TransactWriteItems报TransactionCanceledException解决方法

常见触发原因 #

错误返回的取消原因列表第一个为ValidationError，代表事务在提交前的参数校验阶段就失败，第一个操作存在不满足事务规则的问题，常见诱因如下：

• 单事务操作数超限：DynamoDB单次transact_write_items最多支持25个写操作，循环追加后如果params数组长度超过25，会直接触发校验失败。
• 同事务内重复操作同一条记录：事务要求单个请求内不能对同一个主键（分区键+排序键组合）执行多次写操作，如果循环过程中提取到重复的sortkey，和固定的groupid组合后生成了相同主键，会直接触发校验失败。
• 主键类型和表定义不匹配：代码中写死Id、Category为字符串（S）类型，如果目标表vanguard-work-item-storage-history-db的主键字段定义为数字（N）或者其他类型，类型不匹配会直接报校验错误。
• 参数前置错误：如果params数组在进入循环前已经追加过其他操作，第一个位置的操作本身存在语法错误、表名不存在、权限不足等问题，也会返回首项ValidationError。

修复步骤 #

1. 先补全错误捕获逻辑，打印详细的取消原因，不要只读取错误概览，CancellationReasons中会携带每个操作失败的具体描述，方便快速定位问题：

   import botocore
   try:
       dynamodb_client.transact_write_items(TransactItems=params)
   except botocore.exceptions.ClientError as e:
       if e.response['Error']['Code'] == 'TransactionCanceledException':
           print("详细取消原因：", e.response['CancellationReasons'])
       raise
   

2. 循环追加操作时增加主键去重逻辑，避免同一条记录在单个事务中被多次操作。
3. 校验操作总数，单批次最多放入25个操作，超出的部分拆分成多个事务请求分批执行。
4. 核对目标表的主键定义，确保代码中传入的Id、Category字段类型和表结构完全一致，比如Id如果是数字类型，要把'S': groupid改成'N': str(groupid)。

修复后参考代码 #

import botocore

params = []
# 用集合记录已经加入事务的主键，做去重校验
added_keys = set()

for item in getSort["Items"]:
    sortkey = item['History']['S']
    # 生成主键唯一标识
    unique_key = f"{groupid}:{sortkey}"
    if unique_key in added_keys:
        # 重复主键直接跳过，避免触发事务校验错误
        continue
    added_keys.add(unique_key)

    params.append(
        {
            'Update': {
                'TableName': 'vanguard-work-item-storage-history-db',
                'Key': {
                    # 注意：此处字段类型必须和表定义完全匹配
                    'Id': {'S': groupid},
                    'Category': {'S': sortkey}
                },
                'UpdateExpression': 'SET #ttl_attr = :ttl_value',
                'ExpressionAttributeValues':{
                    ':ttl_value': {'N': str(int(epoch_value))}
                },
                'ExpressionAttributeNames': {
                    '#ttl_attr': 'ttl'
                }
            }
        }
    )

# 按25个一批拆分，满足事务操作数上限要求
MAX_TRANSACTION_SIZE = 25
for batch_idx in range(0, len(params), MAX_TRANSACTION_SIZE):
    current_batch = params[batch_idx:batch_idx+MAX_TRANSACTION_SIZE]
    dynamodb_client.transact_write_items(TransactItems=current_batch)

注：如果业务逻辑要求只能更新已经存在的记录，可以在Update操作中增加'ConditionExpression': 'attribute_exists(Id)'配置，此时如果记录不存在会返回条件检查失败，而非参数校验错误，更方便问题定位。

内容的提问来源于stack exchange，提问作者Cholleti Srinath reddy