基于AWS Lambda与DynamoDB的网页爬取数据存储问题咨询

一、DynamoDB转存S3并删除旧数据完全可行 #

这是解决当前读取容量限制问题的常用落地方案，具体操作思路如下：

• 定时归档：新增一个Lambda函数（按天/周定时触发），通过Query（优先用这个，比Scan省容量）根据时间戳字段筛选旧数据（比如超过30天的条目），整理成CSV格式后上传到S3存储桶。
• 批量清理旧数据：归档完成后，用BatchWriteItem接口批量删除DynamoDB中的旧条目（每次最多处理25条），严格控制容量消耗。
• 后续分析优化：存到S3的CSV文件可以直接用Athena做查询分析，彻底绕开DynamoDB的读取限制，也不用再手动导出。

注：S3免费层提供前5GB标准存储，按你15分钟一次的频率，单条数据哪怕1KB，一年也才35MB左右，完全在免费额度内。

二、其他免费时序数据存储方案 #

1. 直接存储到S3 #

跳过DynamoDB，爬取完成后直接写入S3：

• 可以按日期拆分文件（比如cost_data_2024-05-20.csv），或者每次生成带时间戳的小文件，后续用Athena聚合查询。
• S3没有读取容量限制，导出数据直接下载整个桶或指定文件即可，操作简单且免费额度足够。

2. 使用AWS Timestream #

AWS专门的时序数据库，完美匹配你的成本分析场景：

• 免费层包含每天1GB写入量+1GB查询量，15分钟一次的写入频率完全覆盖。
• 自带时间序列优化，支持按时间范围快速查询，控制台直接提供CSV导出功能，不用额外写归档逻辑。
• 自动将冷数据移到低成本存储层，无需手动管理存储生命周期。

3. Google Sheets（跨云备选） #

如果不局限于AWS生态，可通过Google Sheets API写入数据：

• 免费额度能支撑15分钟一次的写入，表格本身支持直接导出CSV，操作直观。
• 但需要额外配置API密钥和权限，适合偏好表格界面的场景。

内容的提问来源于stack exchange，提问作者Ziggy Stardust