You need to enable JavaScript to run this app. 使用Python requests下载马来西亚交易所PDF损坏 解析报EOF marker not found
优惠活动
大模型
产品
解决方案
定价
更多

使用Python requests下载马来西亚交易所PDF损坏 解析报EOF marker not found

问题根因定位

你遇到的文件损坏、解析报EOF错误,和编码格式调整没有关系,核心原因是当前代码裸发的requests请求被目标站点的反爬规则拦截,拿到的根本不是完整的真实PDF文件,具体有两个典型问题:

  1. 站点默认拦截不带正常浏览器请求头的爬虫请求,返回的不是PDF流,而是反爬提示页、权限校验页的内容,这类内容本身没有PDF的结构,自然会被Adobe识别为损坏文件
  2. 你虽然开了stream=True参数,但直接读取r.content没有走分块流式读取逻辑,遇到站点对响应流做了传输长度限制时,很容易出现文件内容被截断的情况,缺失PDF末尾的EOF标记,就会触发PyPDF2的读取报错
可落地的调整步骤
  • 先增加前置响应合法性校验,不要拿到响应就直接写文件:
    • 检查响应头的Content-Type字段是否为application/pdf
    • 检查返回的二进制内容是否以PDF的固定文件头b'%PDF'开头,不满足任意一条就说明拿到的不是目标文件,直接抛出提示即可,不需要进入后续写文件、解析流程
  • 补充符合站点规则的请求头,替换requests默认的请求标识:
    • 把默认的Python requests User-Agent替换成主流浏览器的真实UA,避免被站点标记为爬虫
    • 补充Referer字段,匹配站点对请求来源的校验规则
  • 改用会话保持模式请求:初始化requests.Session对象,先访问站点首页获取首次访问下发的Cookie值,再带着同一个会话请求PDF地址,不要每次都发无上下文的全新请求
  • 修正流式下载逻辑:开启stream模式后,用iter_content分块读取响应内容并写入文件,避免大文件传输不完整的问题
修正后的参考代码
import io
import requests
from PyPDF2 import PdfFileReader

# 初始化会话,自动保持Cookie上下文
session = requests.Session()
# 配置符合站点校验规则的请求头
request_headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    "Accept": "application/pdf,text/html,application/xhtml+xml",
    "Referer": "https://www.bursamalaysia.com/"
}

target_url = "https://www.bursamalaysia.com/misc/missftp/securities/securities_equities_2020-12-10.pdf"
# 发起流式请求,设置合理超时避免挂起
response = session.get(target_url, headers=request_headers, stream=True, timeout=30)

# 前置校验响应有效性
if not response.content.startswith(b"%PDF"):
    raise ValueError(f"响应不是有效PDF,前200字节内容为:{response.content[:200]}")

# 分块写入本地文件
save_path = f"{path_to_store_pdfs}/KLSE 2020-12-10.pdf"
with open(save_path, "wb") as file_handle:
    for chunk in response.iter_content(chunk_size=8192):
        file_handle.write(chunk)

# 解析PDF
pdf_stream = io.BytesIO(response.content)
pdf_reader = PdfFileReader(pdf_stream)
常见排查补充

如果补充完上述内容还是拿到非PDF的响应内容,说明站点现在加了JS动态校验的反爬规则,这时候需要保证请求时序符合正常用户访问路径,不要直接冷启动就请求PDF地址。

内容的提问来源于stack exchange,提问作者ping

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 13:54:02