MySQL按Key（binary(16)）分区：外置计算分区归属及哈希函数咨询

可以在MySQL外部计算KEY分区（基于binary(16)键）的记录归属，核心是复现MySQL内部的哈希逻辑——以下是具体细节和实现方案：

MySQL KEY分区的哈希逻辑 #

MySQL的KEY分区对字符串/二进制类型键使用自定义的64位FNV-1a变种哈希函数，步骤如下：

1. 以binary(16)的原始字节序列为输入，计算64位无符号哈希值。
2. 哈希值对分区总数取模，结果即为分区编号（从0开始）。

这个哈希逻辑未在官方文档中公开，但通过分析MySQL源码（参考partition_hash_function和my_hash_sort_string函数），可确认其基于FNV-1a算法，仅在空值处理等边缘场景有细微调整。

外部计算的实现 #

要在外部复现分区计算，你需要：

1. 实现MySQL兼容的哈希函数。
2. 用哈希值对分区数取模得到分区编号。

Python示例代码 #

以下是针对binary(16)键的近似实现，与MySQL行为一致：

def mysql_binary16_hash(binary_data: bytes) -> int:
    # 复现MySQL的64位FNV-1a变种哈希
    hash_val = 0xcbf29ce484222325  # FNV-1a初始种子
    fnv_prime = 0x100000001b3
    for byte in binary_data:
        hash_val ^= byte
        hash_val *= fnv_prime
        hash_val &= 0xffffffffffffffff  # 保持64位无符号整数
    return hash_val

def get_partition_id(hash_val: int, total_partitions: int) -> int:
    return hash_val % total_partitions

# 使用示例
test_key = b'\x01\x23\x45\x67\x89\xab\xcd\xef\x01\x23\x45\x67\x89\xab\xcd\xef'
partition_count = 8
hash_result = mysql_binary16_hash(test_key)
partition_num = get_partition_id(hash_result, partition_count)
print(f"该记录归属分区：{partition_num}")

验证准确性 #

你可以在MySQL中执行以下语句验证外部计算结果：

-- 创建测试分区表
CREATE TABLE test_part (
    id BINARY(16) NOT NULL
)
PARTITION BY KEY(id)
PARTITIONS 8;

-- 插入测试数据
INSERT INTO test_part VALUES (0x0123456789abcdef0123456789abcdef);

-- 查询记录所属分区
SELECT PARTITION_ORDINAL_POSITION - 1 AS partition_id
FROM INFORMATION_SCHEMA.PARTITIONS
WHERE TABLE_NAME = 'test_part'
AND PARTITION_METHOD = 'KEY'
AND EXISTS (
    SELECT 1 FROM test_part
    WHERE id = 0x0123456789abcdef0123456789abcdef
    AND PARTITION(id) = PARTITION_ORDINAL_POSITION - 1
);

对比外部计算的partition_num与MySQL返回的partition_id，确认逻辑一致。

并行操作的实践建议 #

• 拆分CSV并定向插入：将CSV按外部计算的分区归属拆分后，使用LOAD DATA INFILE的PARTITION子句直接插入目标分区，避免MySQL重复计算：

  LOAD DATA INFILE '/data/partition_0.csv' INTO TABLE test_part PARTITION (p0);
  

• 并行创建索引：MySQL 8.0及以上版本支持对分区表的单个分区添加索引，可通过以下语句并行操作：

  ALTER TABLE test_part PARTITION (p0) ADD INDEX idx_id(id);
  

  注意：需确保操作的独立性，避免跨分区锁冲突。

内容的提问来源于stack exchange，提问作者Yosef Yudilevich