Clickhouse导出数据到S3无LIMIT时LZ4编码失败问题求助

我按照Clickhouse官方文档使用以下命令将表数据导出到S3：

INSERT INTO FUNCTION
   s3(
       'https://my-bucket.s3.amazonaws.com/files/table.csv.lz4',
       'aws_key',
       'aws_secret',
       'CSV'
    )
SELECT *
FROM table
SETTINGS max_execution_time = 20

但当不设置LIMIT或LIMIT值略超过10000时，会出现错误：

Code: 617. DB::Exception: LZ4 failed to encode stream. LZ4F version: 100. (LZ4_ENCODER_FAILED) (version 23.5.3.24 (official build))

我的表规模不大，约有12万行、10列。设置LIMIT 10000时导出正常，按分区导出时若分区行数超约10000也会触发相同错误。我使用的是官方Docker镜像的Clickhouse 23.5.3.24版本及默认配置。

请问：

• 此类导出/分区是否存在大小限制？
• 是否有我遗漏的相关文档？
• 如何确定合适的导出/分区大小？
• 是否有需要调整的配置项？

1. 是否存在导出/分区大小限制？ #

官方没有明确的导出行数或分区大小硬限制，但默认配置下，LZ4编码的缓冲区容量有限，当处理较大数据块时会触发编码失败。你遇到的10000行阈值，本质是默认缓冲区无法支撑更大数据块的一次性编码。

2. 遗漏的相关文档点 #

Clickhouse官方文档中相关配置细节分散在这些模块：

• s3函数说明未直接关联编码缓冲区配置，但在服务器配置的Compression章节，有LZ4编码器的参数说明；
• 导出操作的稳定性配置，可参考max_block_size、compression相关的全局/会话级设置文档。

3. 如何确定合适的导出/分区大小？ #

• 逐步测试：从10000行开始逐步增加导出行数，找到不触发错误的最大阈值，以此作为安全导出批次；
• 结合单条数据大小估算：若单条数据平均1KB，10000行约10MB，可按这个量级划分导出批次；
• 分区大小参考：常规Clickhouse单分区建议控制在10-100GB（行数随单条数据大小调整），但导出场景需结合编码缓冲区承载能力灵活调整。

4. 可调整的配置项 #

会话级临时调整（仅当前命令生效） #

在导出命令中添加编码相关设置，调小数据块大小或增大LZ4编码缓冲区：

INSERT INTO FUNCTION
   s3(
       'https://my-bucket.s3.amazonaws.com/files/table.csv.lz4',
       'aws_key',
       'aws_secret',
       'CSV'
    )
SELECT *
FROM table
SETTINGS 
    max_execution_time = 20,
    max_block_size = 8192,  -- 调小块大小，让编码分块处理
    compression_lz4_max_pending_bytes = 134217728;  -- 增大LZ4编码缓冲区到128MB

全局配置调整（长期生效） #

修改Clickhouse配置文件（如config.xml或users.xml），添加或调整以下参数：

<compression>
    <lz4>
        <max_pending_bytes>134217728</max_pending_bytes>
    </lz4>
</compression>
<max_block_size>8192</max_block_size>

临时排查方案 #

可以尝试导出未压缩的CSV（将文件名后缀改为.csv，函数参数保持'CSV'），验证是否为压缩环节问题，再针对性调整配置。

内容的提问来源于stack exchange，提问作者Ivan Longin