美国东部区域Spot价格历史结果数量受限，如何获取大量数据？

我来帮你搞定这个Spot历史价格数据拿不够的问题！其实核心原因是AWS的describe_spot_price_history API有默认的返回条数限制，而且单次调用最多返回1000条记录，如果你的时间跨度大或者数据量多，就需要通过分页循环或者拆分时间窗口来获取完整的历史数据。下面给你具体的解决方案和代码示例：

关键解决思路 #

• 处理API分页：API返回结果里的NextToken是分页标记，只要这个值存在，就说明还有更多数据没返回，需要带着这个token继续调用API。
• 拆分时间范围：如果90天的数据量太大，单次分页还是拿不全，可以把时间拆分成更小的窗口（比如按7天为一个周期），逐个窗口拉取数据，最后合并结果。
• 补全参数范围：有些Spot实例的产品描述可能是Linux/UNIX (Amazon VPC)，只传Linux/UNIX可能会漏掉部分数据，建议同时包含这两个值。

修正后的完整代码示例 #

import boto3
from datetime import datetime, timedelta

def get_full_spot_price_history(instance_type, az, start_date, end_date):
    ec2 = boto3.client('ec2')
    all_price_history = []
    next_token = None

    while True:
        # 构造API调用参数
        params = {
            'InstanceTypes': [instance_type],
            'ProductDescriptions': ['Linux/UNIX', 'Linux/UNIX (Amazon VPC)'],
            'AvailabilityZone': az,
            'StartTime': start_date,
            'EndTime': end_date,
            'MaxResults': 1000  # 单次调用最大返回条数
        }
        if next_token:
            params['NextToken'] = next_token
        
        # 调用API
        response = ec2.describe_spot_price_history(**params)
        all_price_history.extend(response['SpotPriceHistory'])
        
        # 检查是否还有下一页数据
        next_token = response.get('NextToken')
        if not next_token:
            break
    
    return all_price_history

# 示例：拆分90天的时间范围，按7天一个窗口拉取
instance_type = 'c3.4xlarge'
az = 'us-east-1a'
end_date = datetime.now()
start_date = end_date - timedelta(days=90)

full_history = []
current_start = start_date
while current_start < end_date:
    current_end = min(current_start + timedelta(days=7), end_date)
    print(f"拉取时间段: {current_start} 到 {current_end}")
    window_history = get_full_spot_price_history(instance_type, az, current_start, current_end)
    full_history.extend(window_history)
    current_start = current_end

print(f"总共获取到 {len(full_history)} 条历史价格数据")

代码说明 #

1. 分页处理：get_full_spot_price_history函数里通过循环检查NextToken，直到获取完所有分页数据。
2. 时间窗口拆分：主逻辑把90天拆分成多个7天的小窗口，逐个拉取后合并，避免单次请求数据量过大导致的限制。
3. 参数优化：ProductDescriptions包含了两种常见的Linux实例类型，确保不会漏掉数据；MaxResults设置为API允许的最大值1000，减少调用次数。

额外注意事项 #

• 如果你还是发现数据不足，可以检查目标实例类型在指定可用区的Spot实例是否真的有90天的历史数据——有些实例类型可能在某些区域的可用区推出时间较晚，历史数据本身就少。
• AWS的API调用有速率限制，如果你拉取的数据量极大，可能需要在循环中加入短暂的延时（比如time.sleep(1)），避免触发限流。

内容的提问来源于stack exchange，提问作者Hana90