使用DuckDB处理ZST格式大Reddit数据时遇内存解码错误求助

你遇到的核心问题是目标ZST文件使用了2GB的超大压缩窗口，而DuckDB默认的ZSTD解码内存限制不足以处理这种文件，导致直接调用read_ndjson_auto失败。下面是两种可行的解决方法：

方法1：先手动解压再导入DuckDB #

先用zstd工具带指定参数解压文件，再用DuckDB处理解压后的JSON：

# 用2GB内存参数解压ZST文件
zstd -d --memory=2048MB RC_2022-01.zst -o RC_2022-01.json

# 转换为Parquet格式
time ~/prog/duckdb -c "copy (select created_utc, body, author, subreddit, parent_id, id from read_ndjson_auto('RC_2022-01.json')) to 'RC_2022-01.parquet' (format 'PARQUET', CODEC 'ZSTD')"

• 优点：操作直观，适合一次性处理单文件
• 缺点：需要额外磁盘空间存储解压后的JSON（Reddit月度数据解压后通常在100GB以上）

方法2：流式管道处理（节省磁盘空间） #

通过管道将zstd的解压输出直接传给DuckDB，无需存储中间JSON文件：

# 流式解压并转换，全程不生成中间文件
time zstd -d --memory=2048MB -c RC_2022-01.zst | ~/prog/duckdb -c "copy (select created_utc, body, author, subreddit, parent_id, id from read_ndjson_auto('/dev/stdin')) to 'RC_2022-01.parquet' (format 'PARQUET', CODEC 'ZSTD')"

解释：-c参数让zstd将解压内容输出到标准输出，DuckDB读取/dev/stdin作为输入源，全程流式处理，既节省磁盘空间又提升处理效率。

补充说明 #

目前DuckDB并未提供直接配置ZSTD解码内存或窗口大小的参数，因此借助外部zstd工具预处理是最可靠的解决方案。如果后续DuckDB更新支持相关配置，可以关注官方版本更新。

内容的提问来源于stack exchange，提问作者Shahbaz