使用Beautiful Soup爬取Masslottery刮刮乐中奖数据遇阻求助

API 探路者

2026-7-1

解决方案

问题根源：你爬取的页面中，中奖表格是动态加载的，静态HTML里并没有表格数据，因此用BeautifulSoup直接解析返回的内容找不到目标元素。该网站实际通过API接口返回JSON格式的中奖数据，直接请求API会更高效可靠。
实现步骤：
1. 定位到目标API接口：该网站的中奖数据接口为https://www.masslottery.com/api/winners?game=billion-dollar-extravaganza-2023&page=1（可根据页码修改page参数获取不同页数据）
2. 使用requests请求API获取JSON数据
3. 解析JSON中的字段，转换为pandas.DataFrame

以下是完整代码：

import requests
import pandas as pd
from datetime import datetime

# API接口地址，可修改page参数获取不同页数据
api_url = "https://www.masslottery.com/api/winners?game=billion-dollar-extravaganza-2023&page=1"
response = requests.get(api_url)
data = response.json()

# 提取中奖记录数据
winner_items = data["data"]["items"]

# 构造DataFrame所需的字段列表
winner_data = []
for item in winner_items:
    winner_data.append({
        "奖金金额": item["prizeAmount"],
        "中奖日期": datetime.strptime(item["claimedDate"], "%Y-%m-%dT%H:%M:%S").strftime("%Y-%m-%d"),
        "领奖地点": item["retailer"]["name"] if item["retailer"] else "未知",
        "地点城市": item["retailer"]["city"] if item["retailer"] else "未知"
    })

# 生成DataFrame
df = pd.DataFrame(winner_data)
print(df.head())