大量按多维度键分组的相似小销售数据集高效处理方案咨询

以下是几种无需拆分存储为独立文件、同时可低开销按自定义键访问对应数据集的实现方案：

方案1：DuckDB 嵌入式数据库（优先推荐） #

这是实现成本最低、查询性能最优的单机/中小规模场景方案：

• 把全量销售数据导入单个DuckDB存储文件，给customer、store、warehouse、product四个字段建立联合索引，建表参考代码：

CREATE TABLE sales (
    date DATE,
    customer VARCHAR,
    store VARCHAR,
    warehouse VARCHAR,
    product VARCHAR,
    volume INT
);
CREATE INDEX idx_group_key ON sales (customer, store, warehouse, product);

• 后续需要访问某一个键对应的数据时，直接执行SQL过滤即可，联合索引会跳过无关数据块，仅扫描目标分组的内容，避免全表扫描开销，查询速度和读取独立数据集基本一致，全程仅需维护1个数据库文件。

方案2：Dask 自定义复合索引分区 #

你需要的Dask按自定义键分桶的能力可以通过复合索引实现：

• 先在原数据集里新增一个group_key字段，将四个字段拼接为唯一值，示例代码：

import dask.dataframe as dd

df = dd.read_csv("your_sales_data.csv")
df["group_key"] = df["customer"] + "_" + df["store"] + "_" + df["warehouse"] + "_" + df["product"]
# 按自定义键设置索引，分区数可以根据总数据量调整，比如设为200~1000，避免分区过多
df = df.set_index("group_key", npartitions=500)
# 持久化到本地或分布式存储，仅生成500个左右的文件
df.to_parquet("dask_indexed_sales.parquet", write_index=True)

• 后续读取时直接加载分区后的Parquet，通过df.loc[目标group_key]即可直接定位到对应分区的数据，仅扫描目标分组内容，无需全表过滤。

方案3：分桶Parquet存储（多引擎兼容） #

如果需要对接Spark、Flink等多种大数据计算引擎，可以选择分桶Parquet格式：

• 将四个字段设为分桶键，按键的哈希值划分固定数量的桶（比如200~1000个桶），写入为Parquet格式，每个桶对应一个文件，文件数远低于20万。
• 所有支持Parquet的计算引擎都支持谓词下推，访问某个键对应的数据时，会自动计算哈希值定位到对应桶，仅扫描单个桶内的数据，过滤开销极低。

内容的提问来源于stack exchange，提问作者milkwithfish