6TB数据集下YugabyteDB均衡集群的最优配置方案

针对你的10节点（32核/512GB内存/5TB SSD）集群，以及包含大表（0.5-1.5TB，未来数TB）的业务场景，推荐以下自动分片配置方案：

一、核心分片参数配置 #

1. 开启全局自动分片 #

确保目标数据库开启自动分片功能：

ALTER DATABASE your_target_db SET ysql_enable_automatic_sharding = true;

2. 调整分片自动拆分阈值 #

默认1GB的拆分阈值会导致大表生成过多分片，建议调整为20GB，平衡资源利用与管理成本：

ALTER DATABASE your_target_db SET ysql_auto_split_threshold_mb = 20480;

这个阈值适配32核/512GB节点的资源容量，避免分片数量爆炸，同时保证单个分片能充分利用节点CPU、内存资源。

3. 大表初始分片数设置 #

对于现有0.5-1.5TB的大表，迁移前手动设置初始分片数，避免迁移期间频繁自动拆分影响性能：

ALTER TABLE your_large_table SET yb_num_shards_per_tserver = 4;

10节点集群下总分片数为40，1.5TB大表的单个初始分片约37.5GB，后续会自动拆分为20GB左右的子分片，刚好匹配阈值设置。

新建大表时直接指定初始分片策略：

CREATE TABLE new_large_table (...) WITH (yb_num_shards_per_tserver = 4);

二、小表分片优化 #

小表（远小于20GB）无需自动拆分，关闭其自动分片功能，减少无用分片：

ALTER TABLE your_small_table SET ysql_enable_automatic_sharding = false;

新建小表时直接配置：

CREATE TABLE new_small_table (...) WITH (ysql_enable_automatic_sharding = false);

小表初始分片保持默认（每个节点1个，总10个）即可满足访问需求。

三、集群辅助配置 #

• 资源参数匹配：每个节点设置--memory_limit=450GB（预留62GB给系统进程），--ysql_workers=32（与CPU核数一致），最大化硬件利用率。
• 开启分片负载均衡：确保分片均匀分布在所有节点：

ALTER DATABASE your_target_db SET yb_enable_load_balancing = true;

迁移完成后手动触发一次均衡，避免分片集中在部分节点：

yb-admin -master_addresses <master-ip1>:7100,<master-ip2>:7100,<master-ip3>:7100 rebalance_tablets

四、迁移前验证步骤 #

• 先迁移单张大表的测试数据，观察分片自动拆分逻辑与节点CPU、磁盘负载，确认参数合理性。
• 检查大表初始分片分布，确保均匀分配到10个节点。
• 监控节点磁盘使用率，确保单节点磁盘占用不超过80%，预留空间应对数据增长与分片拆分。

内容的提问来源于stack exchange，提问作者dh YB