使用Python requests下载马来西亚交易所PDF损坏 解析报EOF marker not found
问题根因定位
你遇到的文件损坏、解析报EOF错误,和编码格式调整没有关系,核心原因是当前代码裸发的requests请求被目标站点的反爬规则拦截,拿到的根本不是完整的真实PDF文件,具体有两个典型问题:
- 站点默认拦截不带正常浏览器请求头的爬虫请求,返回的不是PDF流,而是反爬提示页、权限校验页的内容,这类内容本身没有PDF的结构,自然会被Adobe识别为损坏文件
- 你虽然开了
stream=True参数,但直接读取r.content没有走分块流式读取逻辑,遇到站点对响应流做了传输长度限制时,很容易出现文件内容被截断的情况,缺失PDF末尾的EOF标记,就会触发PyPDF2的读取报错
可落地的调整步骤
- 先增加前置响应合法性校验,不要拿到响应就直接写文件:
- 检查响应头的
Content-Type字段是否为application/pdf - 检查返回的二进制内容是否以PDF的固定文件头
b'%PDF'开头,不满足任意一条就说明拿到的不是目标文件,直接抛出提示即可,不需要进入后续写文件、解析流程
- 检查响应头的
- 补充符合站点规则的请求头,替换requests默认的请求标识:
- 把默认的Python requests User-Agent替换成主流浏览器的真实UA,避免被站点标记为爬虫
- 补充
Referer字段,匹配站点对请求来源的校验规则
- 改用会话保持模式请求:初始化
requests.Session对象,先访问站点首页获取首次访问下发的Cookie值,再带着同一个会话请求PDF地址,不要每次都发无上下文的全新请求 - 修正流式下载逻辑:开启stream模式后,用
iter_content分块读取响应内容并写入文件,避免大文件传输不完整的问题
修正后的参考代码
import io import requests from PyPDF2 import PdfFileReader # 初始化会话,自动保持Cookie上下文 session = requests.Session() # 配置符合站点校验规则的请求头 request_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36", "Accept": "application/pdf,text/html,application/xhtml+xml", "Referer": "https://www.bursamalaysia.com/" } target_url = "https://www.bursamalaysia.com/misc/missftp/securities/securities_equities_2020-12-10.pdf" # 发起流式请求,设置合理超时避免挂起 response = session.get(target_url, headers=request_headers, stream=True, timeout=30) # 前置校验响应有效性 if not response.content.startswith(b"%PDF"): raise ValueError(f"响应不是有效PDF,前200字节内容为:{response.content[:200]}") # 分块写入本地文件 save_path = f"{path_to_store_pdfs}/KLSE 2020-12-10.pdf" with open(save_path, "wb") as file_handle: for chunk in response.iter_content(chunk_size=8192): file_handle.write(chunk) # 解析PDF pdf_stream = io.BytesIO(response.content) pdf_reader = PdfFileReader(pdf_stream)
常见排查补充
如果补充完上述内容还是拿到非PDF的响应内容,说明站点现在加了JS动态校验的反爬规则,这时候需要保证请求时序符合正常用户访问路径,不要直接冷启动就请求PDF地址。
内容的提问来源于stack exchange,提问作者ping
相关产品推荐
相关产品推荐

