Clickhouse导出Parquet文件DuckDB无法读取,能否修改压缩格式?
解决ClickHouse导出Parquet压缩格式不兼容DuckDB的问题
你的推测是对的,错误中的压缩编码"7"对应Parquet规范里的LZ4压缩,当前DuckDB确实不支持这种压缩格式的Parquet文件。
在clickhouse-local中可以直接指定Parquet导出的压缩格式,只需在命令中添加--setting format_parquet_compression_codec='[目标压缩格式]'参数即可,目标格式可选DuckDB支持的uncompressed、gzip、snappy或zstd。
示例命令(以zstd为例):
clickhouse-local --setting format_parquet_compression_codec='zstd' --query "SELECT * FROM mysql('mysql-host:3306', 'db', 'table', 'user', 'pass') INTO OUTFILE 'mytable.parquet' FORMAT Parquet"
替换'zstd'为你需要的其他支持格式即可,导出后的Parquet文件就能被DuckDB正常读取。
内容的提问来源于stack exchange,提问作者George Livanoss
相关产品推荐
相关产品推荐

