如何创建Presto集群资源计算器？求补充缺失关键参数

我计划为企业内各团队开发一款Presto集群资源计算器，用于估算集群所需的CPU核心数与内存容量。以下是我梳理的核心参数与计算逻辑，现请求帮忙检查并补充简化版计算器中遗漏的关键参数：

现有输入参数 #

总数据量(TS): 
分片大小(SS):
并发查询数(CS):
单Worker节点线程数:
单分片预期处理时间(SPT):
单分片单任务预期内存需求(SM):
目标查询SLA(SLA):

现有计算逻辑 #

单查询总分片数 = TS / SS
单查询总处理时间 = 总分片数 * SPT  
所需任务并行度 = 单查询总处理时间 / 目标查询SLA

所需Worker节点数 = 所需任务并行度 / 单Worker节点线程数
单查询所需总内存 = 单查询所需总VCore数 * SM
并发查询所需总VCore数 = 单查询所需总VCore数 * CS
所有并发查询所需总内存 = 单查询所需总内存 * CS

示例 #

输入参数 #

总数据量(TS): 512GB = 512*1024 = 524288 MB
分片大小(SS): 256MB
并发查询数(CS): 10
单Worker节点线程数: 6
单分片预期扫描时间(SPT): 3s
单分片单任务预期内存需求(SM): 分片大小 * 5 = 256*5 = 1280MB
目标查询SLA(SLA): 30s

计算过程 #

单查询总分片数 = 524288 / 256 = 2048
单查询总处理时间 = 2048 * 3 = 6144s 
单查询所需任务并行度 = 6144/30 ≈ 204
所需Worker节点数 = 204 / 6 = 34
单查询所需总内存 = 204 * 1280 = 261120MB = 255GB

输出结果 #

并发查询所需总VCore数 = 204 * 10 = 2040
所有并发查询所需总内存 = 255GB * 10 = 2550GB ≈ 2.5TB
总Worker节点数 = 并发查询所需总VCore数 / 单Worker节点线程数 = 2040/6 = 340

需补充的关键参数 #

结合Presto集群的实际运行特点，简化版计算器还需加入以下参数以提升计算准确性：

• 查询类型权重系数(QW)：不同查询类型（如全表扫描、多表Join、复杂聚合）的资源消耗差异显著，通过权重系数可针对性调整计算结果，避免单一标准导致的偏差。
• 节点内存预留比例(MR)：Worker节点需预留10%-20%的内存用于JVM堆外内存、系统进程及缓存，计算节点实际配置内存时需纳入该比例。
• 并行度冗余系数(PR)：实际场景中存在数据倾斜、节点临时延迟等情况，需增加10%-30%的并行度冗余，确保查询能稳定达到SLA要求。
• 单Worker节点物理CPU核心数(CW)：线程数需与物理核心数匹配（通常线程数为核心数的1-2倍），该参数用于验证线程配置合理性，避免超卖引发性能瓶颈。
• 队列资源隔离比例(QS)：若集群采用队列调度机制，需考虑各队列的资源分配比例，调整并发查询的实际可用资源计算逻辑。

内容的提问来源于stack exchange，提问作者agarwal_achhnera