咨询TiDB中时间字段索引写入热点问题的应对方案

TiDB基于范围分片的特性，会让连续值写入集中到单个或少数TiKV节点，形成性能瓶颈。针对create_time/update_time这类天然连续的时间字段，可通过以下几种设计模式规避热点：

1. 时间字段哈希分片（联合索引） #

通过对时间字段做哈希计算，把连续的时间值转化为分散的哈希值，再与原时间字段组成联合索引，让写入请求分散到不同Region。

实现方式： #

新增哈希字段，插入数据时用哈希函数生成对应值（以取模100为例，可根据业务调整分片数），再创建联合索引：

-- 添加哈希字段
ALTER TABLE your_table ADD COLUMN hash_time INT NOT NULL;

-- 插入时生成哈希值
INSERT INTO your_table (create_time, hash_time, ...) 
VALUES ('2024-05-20 12:30:00', FARM_FINGERPRINT(CAST(create_time AS CHAR)) % 100, ...);

-- 创建联合索引
CREATE INDEX idx_hash_create_time ON your_table (hash_time, create_time);

查询示例： #

查询指定时间范围时，需匹配哈希值的所有可能取值：

SELECT * FROM your_table 
WHERE hash_time IN (0,1,...,99) 
AND create_time BETWEEN '2024-05-01' AND '2024-05-31';

适用场景： #

不想拆分表/分区，希望保留单表结构，且查询能接受遍历哈希分片的场景。

2. 时间维度分区/分表 #

利用TiDB的分区表特性（或手动分表），将数据按时间维度拆分到不同分区/表，每个时间段的数据独立存储在不同Region，从根源上分散写入热点。

实现方式（分区表）： #

按时间范围创建RANGE分区，比如按月份拆分：

CREATE TABLE your_table (
    id INT PRIMARY KEY,
    create_time DATETIME NOT NULL,
    ...
) PARTITION BY RANGE (TO_DAYS(create_time)) (
    PARTITION p202401 VALUES LESS THAN (TO_DAYS('2024-02-01')),
    PARTITION p202402 VALUES LESS THAN (TO_DAYS('2024-03-01')),
    PARTITION p202403 VALUES LESS THAN (TO_DAYS('2024-04-01')),
    -- 按需添加后续分区
);

适用场景： #

业务查询天然按时间维度过滤（如仅查询近N个月数据），且数据生命周期清晰（可归档旧分区）的场景。手动分表则适合需要更灵活拆分规则的场景。

3. 复合索引引入随机因子 #

在时间字段索引中加入一个随机生成的离散字段（如0-99的随机数、用户ID等），组成复合索引，让同一时间点的写入分散到多个Region。

实现方式： #

新增随机字段，插入时生成随机值，创建复合索引：

-- 添加随机字段
ALTER TABLE your_table ADD COLUMN rand_num TINYINT NOT NULL;

-- 插入时生成0-99的随机数
INSERT INTO your_table (create_time, rand_num, ...) 
VALUES ('2024-05-20 12:30:00', FLOOR(RAND() * 100), ...);

-- 创建复合索引
CREATE INDEX idx_rand_create_time ON your_table (rand_num, create_time);

查询示例： #

查询时间范围时需覆盖所有随机值：

SELECT * FROM your_table 
WHERE rand_num IN (0,1,...,99) 
AND create_time BETWEEN '2024-05-01' AND '2024-05-31';

适用场景： #

写入压力极大，且能接受查询时遍历少量分片的场景。若已有用户ID、设备ID等离散字段，可直接复用，无需新增随机字段。

4. 反转时间字段的离散化处理 #

通过反转时间戳的数值或字符串形式，将连续的时间值转化为非连续值，破坏其范围连续性，从而分散写入热点。

实现方式： #

以UNIX时间戳为例，反转时间戳数值并存储为新字段，创建联合索引：

-- 添加反转时间字段
ALTER TABLE your_table ADD COLUMN reversed_time BIGINT NOT NULL;

-- 插入时生成反转时间戳
INSERT INTO your_table (create_time, reversed_time, ...) 
VALUES (
    '2024-05-20 12:30:00',
    CAST(REVERSE(CAST(UNIX_TIMESTAMP(create_time) AS CHAR)) AS BIGINT),
    ...
);

-- 创建联合索引
CREATE INDEX idx_reversed_create_time ON your_table (reversed_time, create_time);

适用场景： #

精确时间查询较多、范围查询较少的场景，因为范围查询需要额外处理反转后的时间范围，复杂度较高。

5. 依赖TiDB自动热点调度（被动优化） #

TiDB内置了自动拆分Region和热点分散的功能，可通过开启相关参数让系统自动处理热点：

-- 开启自动拆分Region
SET GLOBAL tidb_enable_auto_split = ON;
-- 开启热点Region自动分散
SET GLOBAL tidb_enable_auto_scatter = ON;

适用场景： #

写入热点不极端，且希望减少手动设计成本的场景。但该方式是被动响应，无法完全替代主动设计，适合作为其他方案的补充。

内容的提问来源于stack exchange，提问作者Tetsuya3850