如何在MySQL中实现类似Hive按每个query_id单独分区的功能

• Hive的PARTITIONED BY属于值映射分区，每个唯一query_id对应独立的物理分区，插入前手动新增对应query_id的分区即可
• MySQL HASH分区逻辑与Hive完全不同：它是将query_id做哈希计算后取模，映射到固定数量的预定义分区，不会为每个唯一query_id单独生成新分区
• 原建表语法不完整：MySQL HASH分区必须显式指定分区数量，未指定时默认仅创建1个分区，因此所有数据都会写入同一分区

分两类业务场景适配：

场景1：需要和Hive逻辑完全一致，每个唯一query_id对应独立分区 #

使用MySQL的LIST COLUMNS分区实现，步骤如下：

1. 建表语法：

CREATE TABLE mytable (
  -- 自定义其他字段
  query_id INT NOT NULL
)
PARTITION BY LIST COLUMNS(query_id) (
  -- 可初始创建占位分区，也可提前预置常用query_id的分区
  PARTITION p_default VALUES IN (0)
);

2. 插入数据前先新增对应query_id的分区（和Hive操作逻辑一致）：

ALTER TABLE mytable ADD PARTITION (PARTITION p_xxx VALUES IN (<目标query_id>));

3. 正常执行插入语句即可：

INSERT INTO mytable VALUES(?,?,...,<query_id>);

如果query_id为连续递增的整数，也可选择RANGE COLUMNS分区，更适合批量提前创建分区降低运维成本。

场景2：仅需要按query_id将数据打散到多个分区提升性能，不需要每个query_id单独分区 #

修正HASH分区的建表语法，显式指定分区数量即可（数量根据数据量、服务器配置调整，建议设为CPU核心数的2~4倍）：

CREATE TABLE mytable (
  -- 自定义其他字段
  query_id INT NOT NULL
)
PARTITION BY HASH(query_id)
PARTITIONS 8; -- 示例为8个分区，可按需调整数值

插入语句无需修改，数据会自动按哈希结果均匀分布到指定数量的分区中。

• MySQL单表最多支持8192个分区，如果业务query_id累计数量会超过该上限，请勿使用每个query_id对应独立分区的方案，优先选择HASH分区打散数据
• 分区字段必须定义为非空，否则分区映射会出错

内容的提问来源于stack exchange，提问作者codergirrl