Python流式读取S3上gzip压缩Common Crawl WARC文件时解压卡住
问题根因
- 你现在的逻辑和Common Crawl的WARC.GZ文件格式完全不匹配,两个关键疏漏直接导致解压卡死:
- 第一:
stream=True模式下你直接遍历Response对象,requests默认会按文本行分割返回内容,既不是稳定的字节流,也会在处理二进制压缩内容时频繁触发无效的分割逻辑,导致传给解压模块的块太碎,凑不够可解压的最小单元 - 第二:CC的.warc.gz不是单个全局gzip压缩包,是多个独立gzip成员拼接的串联gzip流,每个gzip成员对应一条单独的WARC记录。你参考的通用流解压方案只适用于单gzip流的场景,碰到这种拼接格式就会失效:你只初始化了一次zlib解压对象,等第一个gzip成员解压完成后,解压对象会把后续所有属于下一个gzip成员的字节存在
dec.unused_data属性里,你完全没读取这部分缓存内容,自然永远出不来新的解压结果
修正后的可运行代码
import zlib import requests s = requests.Session() # 替换成你的目标WARC文件访问地址 warc_url = "你的WARC文件地址" resp = s.get(warc_url, stream=True, timeout=30) print(f"请求状态码: {resp.status_code}") def stream_gzip_decompress(byte_stream): # 初始化gzip解压对象,32+MAX_WBITS是识别gzip头的固定写法 dec = zlib.decompressobj(32 + zlib.MAX_WBITS) # 缓存上一个解压对象遗留的未处理字节 leftover = b"" for chunk in byte_stream: if not chunk: continue # 拼接上次遗留数据和新收到的块 data = leftover + chunk try: decompressed_data = dec.decompress(data) if decompressed_data: yield decompressed_data # 留存当前解压对象没处理完的剩余字节 leftover = dec.unused_data # 检测到当前gzip流结束,立即初始化新的解压对象处理下一个gzip成员 if dec.eof: dec = zlib.decompressobj(32 + zlib.MAX_WBITS) if leftover: next_decompressed = dec.decompress(leftover) if next_decompressed: yield next_decompressed leftover = dec.unused_data except zlib.error as e: print(f"解压流程中断,错误信息: {e}") break # 用iter_content指定1MB固定块大小,彻底避免按行分割的问题 for record_content in stream_gzip_decompress(resp.iter_content(chunk_size=1024 * 1024)): # 解码时忽略异常字节,避免单个乱码导致整个流程崩溃 print(record_content.decode("utf-8", errors="replace"))
调试技巧
- 如果你还是不确定是网络问题还是逻辑问题,可以在循环里加个字节累计计数,每收到10MB原始压缩块就打一行日志,确认网络传输是不是真的在正常走
- 不要被“一直卡在
if rv:”的表象误导,很多时候不是没收到数据,是解压模块没拿到有效的待处理数据块
内容的提问来源于stack exchange,提问作者Tyler
相关产品推荐
相关产品推荐

