如何解决zstandard解码时Frame占用内存过高的报错

该报错不是系统总内存不足导致，是zstandard库默认对单压缩帧的解压内存窗口设置了上限，Reddit的公开dump压缩包部分帧窗口超过了默认阈值，才会触发该错误。你更换XML读取逻辑没有作用，报错来自底层zstd解压步骤，和上层读取方式无关。

• 修改download_reddit_qalist.py中ZstdDecompressor的初始化参数，手动调大允许的最大窗口大小：
  找到初始化解压对象的代码，修改为如下格式：

  from zstandard import ZstdDecompressor
  dctx = ZstdDecompressor(max_window_size=2**32)
  

  2**32对应4GB的窗口上限，足够覆盖所有公开Reddit dump的解压需求，你原有32GB的内存配置完全可以支撑该设置。
• 若修改参数后仍报错，先校验你下载的.zst压缩包完整性，和官方数据源提供的校验值比对，若不匹配重新下载即可，损坏的压缩包也会触发同类报错。
• 排查zstandard库版本，执行命令pip install --upgrade zstandard升级到最新版，老版本库的默认窗口阈值更低，更容易触发限制。

内容的提问来源于stack exchange，提问作者akshit bhatia