如何控制MemSQL(SingleStore)导出到S3的Parquet文件数量与大小？

先澄清multipart_chunk_size_mb的作用 #

你配置的multipart_chunk_size_mb是用来控制单个Parquet文件上传至S3时的分片大小，它只影响上传过程的分块逻辑，最终会合并成完整的单个文件，不会改变输出文件的总数，所以你看不到它对文件数量的影响是正常的。

控制文件数量与大小的具体方法 #

1. 用max_file_size_mb限制单文件大小

在CONFIG参数中添加max_file_size_mb，指定单个Parquet文件的最大容量（单位MB），MemSQL会自动将数据拆分到多个文件中，每个文件不超过设定值。示例：

SELECT ...
INTO S3 's3://your-bucket/target-path/'
CONFIG '{"region":"your-region", "endpoint_url":"", "compatibility_mode":true, "max_file_size_mb":60}'
CREDENTIALS '{"aws_access_key_id": "your-key-id", "aws_secret_access_key":"your-secret-key"}'
FORMAT PARQUET;

2. 用PARTITION BY按业务字段拆分文件

如果需要按业务逻辑（比如日期、地区）拆分文件，可以在语句末尾添加PARTITION BY子句，MemSQL会根据指定字段的值生成独立的文件或目录。示例：

SELECT ...
INTO S3 's3://your-bucket/target-path/'
CONFIG '{"region":"your-region", "endpoint_url":"", "compatibility_mode":true}'
CREDENTIALS '{"aws_access_key_id": "your-key-id", "aws_secret_access_key":"your-secret-key"}'
FORMAT PARQUET
PARTITION BY your_partition_column;

3. 理解默认文件数量的来源

你现在每次生成17个文件，本质是因为MemSQL的分布式执行特性：查询涉及的每个Leaf分片都会独立生成输出文件，分片数量等于文件数量。如果要调整这个数量：

• 可以通过调整表的分布键，让查询仅在部分分片上执行，但可能影响查询性能；
• 小数据量场景下，可使用COLLECT()函数将数据聚合到单个节点后导出，但大数据量下容易引发内存压力，不推荐。

内容的提问来源于stack exchange，提问作者Rupal