Python从固定URL下载动态更新CSV时返回旧版本如何解决

该问题由HTTP缓存机制导致：本地环境、中间代理服务器或站点CDN缓存了旧版本CSV文件，请求时未触发回源拉取最新资源，因此固定URL返回的是历史缓存内容。

方案1：添加缓存控制请求头（优先使用） #

在你现有的伪造请求头headers_variable中新增缓存禁用相关字段，强制所有节点返回最新资源，代码示例如下：

import urllib.request
import pandas as pd
import io

# 保留原有User-Agent等伪造头字段，新增以下缓存控制字段
headers_variable = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Cache-Control": "no-cache, no-store, must-revalidate",
    "Pragma": "no-cache",
    "Expires": "0"
}

req = urllib.request.Request(url_variable, headers=headers_variable)
with urllib.request.urlopen(req) as resp:
    # 直接读取为DataFrame
    csv_data = resp.read()
df = pd.read_csv(io.BytesIO(csv_data))

# 如需保存到本地文件
with open("latest.csv", "wb") as f:
    f.write(csv_data)

各缓存控制字段作用：

• Cache-Control: no-cache：要求服务端必须验证资源有效性，不能直接返回缓存
• Cache-Control: no-store：要求所有链路节点不存储该请求的任何缓存内容
• Pragma、Expires：兼容旧版HTTP协议的缓存禁用字段

方案2：添加随机查询参数绕过缓存（备用） #

如果站点缓存节点忽略了缓存控制头，可在URL末尾添加唯一随机参数，让每次请求的URL都不同，天然不会命中缓存：

import time

# 拼接毫秒级时间戳作为唯一参数，保证每次请求URL不重复
if "?" in url_variable:
    # 原URL已有查询参数，用&拼接
    url_with_buster = f"{url_variable}&t={int(time.time()*1000)}"
else:
    # 原URL无查询参数，用?拼接
    url_with_buster = f"{url_variable}?t={int(time.time()*1000)}"

# 使用新URL构造请求即可
req = urllib.request.Request(url_with_buster, headers=headers_variable)

内容的提问来源于stack exchange，提问作者BigD Bot