如何配置Stack Exchange API查询以匹配GIS站点基础搜索结果？

问题描述 #

项目目标是统计gis.stackexchange平台各类话题热度，使用Python对接Stack Exchange API时遇到以下问题：

• 使用/search/advanced接口，设置q参数为搜索术语，但返回结果与站点搜索栏基础搜索完全不一致
• 示例：搜索"Bayesian"时，站点显示42条结果，但API返回空结果

代码问题分析 #

1. 手动URL拼接易出错：直接拼接字符串构建请求URL，可能导致参数编码错误（如特殊字符、空格处理），或者参数重复
2. Filter参数可能过滤结果：自定义的filter可能限制了返回的内容范围，甚至排除了符合条件的帖子
3. 分页逻辑不严谨：循环范围和终止条件设置不合理，且未先验证响应状态就解析JSON
4. 未遵循API最佳实践：未使用requests库的params参数统一管理请求参数，增加了出错概率

修复后的代码 #

import requests
import time

# 获取搜索关键词
keyword = input('输入搜索术语，多词用空格分隔：')

# API基础配置
api_url = "https://api.stackexchange.com/2.3/search/advanced"
params = {
    "site": "gis.stackexchange",
    "q": keyword,
    "pagesize": 100,
    "order": "desc",
    "sort": "votes",
    # 使用宽松的filter，确保返回必要字段且不过滤结果
    "filter": "withbody"
}

datarr = []
page = 1

# 初始请求验证
response = requests.get(api_url, params=params)
if response.status_code != 200:
    print(f"初始请求失败，状态码：{response.status_code}")
    exit()

print("初始请求成功，开始获取数据...")

while True:
    params["page"] = page
    response = requests.get(api_url, params=params)
    
    if response.status_code != 200:
        print(f"第{page}页请求失败，状态码：{response.status_code}")
        break
    
    data = response.json()
    # 添加当前页数据
    datarr.extend(data["items"])
    
    # 打印当前页部分数据用于验证
    for item in data["items"]:
        print(f"浏览量：{item['view_count']}，回答数：{item['answer_count']}，得分：{item['score']}")
    
    # 检查是否还有更多页面
    if not data.get("has_more", False):
        print("已获取所有页面数据")
        break
    
    # API请求频率限制，避免触发限流
    time.sleep(2)
    page += 1
    # 防止无限循环，设置最大页数上限
    if page > 50:
        print("已达最大页数上限，停止获取")
        break

# 保存数据到CSV文件
filename = input("输入保存的文件名（无需加.csv）：") + ".csv"
with open(filename, "w", encoding="utf-8") as f:
    # 写入表头
    f.write("浏览量,回答数,得分\n")
    for item in datarr:
        f.write(f"{item['view_count']},{item['answer_count']},{item['score']}\n")

print(f"数据已保存到{filename}")

关键修复说明 #

• 使用params管理请求参数：自动处理URL编码，避免手动拼接的错误，同时让代码更易维护
• 更换为宽松的filter：withbody是官方预定义的filter，确保返回帖子的主体内容，且不会过滤符合条件的结果
• 优化分页逻辑：用while True循环配合has_more判断，更精准控制分页，同时增加最大页数限制防止无限循环
• 完善错误处理：每次请求都验证状态码，避免解析错误的JSON数据
• 统一编码格式：保存CSV时指定utf-8编码，避免中文乱码问题

内容的提问来源于stack exchange，提问作者Jay Rad