如何使用Boto3检测DynamoDB表是否已更新或正在更新?
方案推荐(按适配优先级从高到低排序)
最优方案:新增更新状态元数据表,改造现有预处理Lambda
这个方案改动量最小、性能最高,完全匹配你的业务链路:
- 新建一张DynamoDB元数据表(表名可自定义,比如
table_update_tracker),主键为业务表名,存储两个核心属性:last_updated_timestamp:最近一次更新完成的时间戳update_status:更新状态,枚举值为UPDATING(更新中)、IDLE(更新完成)
- 修改你的S3触发的预处理Lambda逻辑:
- 开始写入指定业务DynamoDB表前,先将元数据表中对应业务表的
update_status设为UPDATING - 所有业务数据写入完成后,更新
last_updated_timestamp为当前时间戳,同时将update_status改回IDLE
- 开始写入指定业务DynamoDB表前,先将元数据表中对应业务表的
- 你需要的判断逻辑可以直接通过查询这张元数据表实现,参考代码如下:
import boto3 from datetime import datetime, timedelta dynamodb = boto3.resource("dynamodb") tracker_table = dynamodb.Table("table_update_tracker") # 可自定义判断“是否为近期更新”的时间阈值,单位小时 UPDATE_VALID_THRESHOLD = 1 def is_updated(table_name: str) -> bool: resp = tracker_table.get_item(Key={"table_name": table_name}) if "Item" not in resp: return False last_update_ts = int(resp["Item"]["last_updated_timestamp"]) return datetime.fromtimestamp(last_update_ts) >= datetime.now() - timedelta(hours=UPDATE_VALID_THRESHOLD) def is_being_updated(table_name: str) -> bool: resp = tracker_table.get_item(Key={"table_name": table_name}) if "Item" not in resp: return False return resp["Item"]["update_status"] == "UPDATING" # 你的业务调用逻辑可直接复用 for _table in entire_table_list: if is_updated(_table): # 触发后续加工逻辑 pass elif is_being_updated(_table): # 等待后重试或者跳过 pass
备选方案1:无法修改预处理Lambda时,启用DynamoDB流做状态同步
如果不允许改动现有预处理Lambda的逻辑,可以给所有业务DynamoDB表开启流(DynamoDB Streams),新增一个轻量消费Lambda:
- 只要业务表有写入变更,流就会触发消费Lambda,同步更新上面的元数据表的
last_updated_timestamp - 另外可以搭配DynamoDB TTL特性,给更新事件加过期时间,超过阈值的更新记录自动标记为已完成,也能实现近似的
is_being_updated判断
这个方案不用改动现有业务链路,额外成本很低,仅比最优方案多了流消费的环节。
备选方案2:零改造临时方案,通过CloudWatch指标判断写入情况
如果不想新增任何资源,可以直接调用CloudWatch的指标接口查询业务表的写入请求统计,判断近期是否有更新,参考代码如下:
import boto3 from datetime import datetime, timedelta cloudwatch = boto3.client("cloudwatch") def is_updated(table_name: str, lookback_minutes: int = 10) -> bool: end_time = datetime.now() start_time = end_time - timedelta(minutes=lookback_minutes) resp = cloudwatch.get_metric_statistics( Namespace="AWS/DynamoDB", MetricName="SuccessfulWriteRequests", Dimensions=[{"Name": "TableName", "Value": table_name}], StartTime=start_time, EndTime=end_time, Period=60, Statistics=["Sum"] ) total_write_cnt = sum([point["Sum"] for point in resp["Datapoints"]]) return total_write_cnt > 0
这个方案的缺点是无法判断「正在更新」的状态,且指标有1-5分钟的延迟,精度较低,仅适合临时排查使用。
内容的提问来源于stack exchange,提问作者Andreas L.
相关产品推荐
相关产品推荐

