You need to enable JavaScript to run this app.
导航
计算组概述
最近更新时间:2025.08.21 10:53:46首次发布时间:2021.10.22 10:06:12
复制全文
我的收藏
有用
有用
无用
无用

本文介绍了 ByteHouse 云数仓计算组的功能定义、核心优势及使用指引等内容。

概述

计算组(Virtual Warehouse,VW)是 ByteHouse 中的计算资源集群,提供了 CPU、Memory 及临时存储等核心资源,为各类数据操作提供稳定的算力支撑,用于执行用户的 SQL 查询和写入任务,具体包括:

  • 执行需要使用计算资源的 SQL 语句(例如从表和视图中检索行),覆盖短时和长时运行查询场景;
  • 执行 DML 操作,例如:
    • 对表中数据进行删除、插入、更新等行级操作;
    • 数据加载至表或从表中导出数据的流转操作。

计算组提供计算资源的独立隔离和弹性扩展能力,不同计算组间互不干扰,适用于多租户和多业务工作负载的场景。

  • 计算隔离:为不同的用户或工作负载提供独立的计算资源,以避免资源争用。
  • 弹性伸缩:计算组可以根据负载情况动态增加或减少计算节点,优化成本和性能。

核心优势

ByteHouse 计算组有如下优势:

  • 资源隔离与读写分离:支持读写分离,支持将数据导入与查询操作分配至不同计算组,同时可针对不同部门、业务查询实现资源隔离,避免业务查询间的相互干扰,提升运行稳定性。
  • 弹性扩缩容与成本优化:可根据业务需求弹性扩缩容,在保障性能的同时减少资源浪费,实现成本可控与资源最大化利用。
  • 支持 OLAP 和 ELT 类型计算组:您可按需选用对应类型,且能结合业务场景灵活自定义参数,既能满足 OLAP 分析场景对查询性能的优化需求,也能适配批处理场景下 ELT 任务的稳定性要求。
  • 自定义计算组参数:ByteHouse 提供了计算组固定参数模板,支持配置计算组参数,提升数据仓库的性能,ByteHouse 也支持添加自定义 SQL 参数,更好地满足特定业务场景的需求。
  • 细粒度权限管控:支持对计算组资源进行细粒度权限控制,满足不同角色的资源使用权限管理要求。
  • 灵活规格选择:您可按需选择 XS、S、M、L、XL 规格的计算组。创建完成后,您可根据实际 CPU 或 Memory 负载情况,参考编辑计算组,手动调整计算组规格。如果当前集群的性能无法满足您的要求,可以通过工单联系 ByteHouse 对计算组进行定制化配置。

核心功能

自动启停

ByteHouse 云数仓计算组支持自动启停策略,帮助您节省资源成本。当计算组空闲超过设定的周期时,自动启停功能将自动关闭集群,在计算组关闭期间将不产生任何费用,节省成本,同时避免在低负载时产生不必要的资源浪费。当您有查询需求时,发送查询请求后,计算组会自动启动,唤起计算资源并进行查询。这种模式能够根据实际负载情况灵活调整资源使用,实现成本优化。

读写分离

ByteHouse 原生支持存储计算分离,写入和后台任务可以使用写入专用的计算组,前台查询使用读取专用的计算组,读写作业之间也不会影响,适用于读写繁忙型业务。

  • 写入:指定专属计算组负责写入型任务,确保数据的实时更新和准确性。写入任务通常对数据的一致性和可靠性要求较高,因此需要专门的计算资源来保障其高效执行。
  • 读取:指定专属计算组负责查询型任务,以满足大量并发的查询请求。查询任务往往对响应时间和数据的准确性有较高要求,通过专属的计算资源可以提供更快的查询速度和更稳定的服务质量。

定时弹性

ByteHouse 支持您根据业务需求灵活配置计算组的定时伸缩策略。您可通过定时任务设定时间周期,系统可根据计划自动触发弹性扩缩容,匹配不同时段的查询流量与工作负载。您可根据业务需求和资源使用预测,提前规划计算资源的扩展或收缩时间点,确保资源高效利用与及时响应。
借助 ByteHouse 的定时弹性能力,您将获得以下优势:

  • 成本优化:在业务低峰期自动缩减资源规模,显著降低计算成本。
  • 自动化运维:无需依赖外部工具或手动干预,即可实现资源的智能调度与配置调整,提升运维效率。

负载弹性

负载弹性是指 ByteHouse 计算组支持自动扩缩容,支持为 L 及以上规格的计算组通过动态调配弹性资源,依据预设策略自动调整弹性资源的规格,适配业务负载波动。弹性资源按实际使用量计费。
您可参考创建/编辑计算组中的操作启用负载弹性。启用后,计算组由基础资源弹性资源构成,当 CPU 或内存指标达到设定阈值后,系统自动对弹性资源进行扩缩容,触发机制如下:

  • 扩容触发机制:当 CPU 或内存任一指标连续 5 个周期(每个周期 1 分钟,共计 5 分钟)的平均值超过设定阈值(80% 或 90%)时,系统将自动扩容。
  • 缩容触发机制:弹性资源扩容后,当 CPU 或内存任一指标连续 5 个周期的平均值低于设定阈值(40%)时,系统将自动缩容。

扩缩容时,负载弹性采用阶梯式调整策略,每次扩容/缩容 1 个规格的弹性资源:

  • 扩容范围为基础资源向上 3 个规格,例如,基础资源为 L 时,弹性资源可逐步扩容至 L、XL、2XL 规格。
  • 缩容时,弹性资源将从当前最高规格,逐步缩容至 0,即关闭弹性资源。
  • 当计算组的基础资源规格调整,弹性资源将在下一个扩容周期自动适配最新基础资源的规格,按新范围执行扩缩容操作。如果扩容后的计算组资源仍不满足您的业务需求,需要将弹性资源扩充到更高规格,您可先参考编辑计算组配置,提高基础资源的规格。

以下表格以基础资源为 L 规格的计算组为例,演示负载弹性功能:

  • 触发条件

    • 扩容:CPU / 内存负载超 80% 且持续 5 个周期。
    • 缩容:CPU / 内存负载低于 40% 且持续 5 个周期。
  • 扩容过程

    • L 规格计算组在连续 5 个周期(T-1 至 T-5)的 CPU 负载均超过设定阈值 80%,系统将在 T-6 周期按阶梯向上扩容,先扩容 1 个规格的弹性资源(即 L→L+L)。
    • 接下来 5 个周期(T-7 至 T-11)中的 CPU 负载仍超过阈值,系统在 T-12 周期扩容至更高规格(即 L+L→L+XL)。
    • 随后的 5 个周期(T-13 至 T-17)中的 CPU 负载依旧超过阈值,系统将在 T-18 周期继续扩容(即 L+XL→L+2XL),此时达到最大规模 2XL,不再扩容。
    • 如果当前计算组资源仍不能满足您的业务需求,您可先参考编辑计算组配置调整基础资源的规格,弹性资源将在下一个扩容周期自动适配最新基础资源的规格并继续扩容。

    时间

    CPU 负载

    Memory 负载

    基础资源

    弹性资源

    是否扩缩容

    T-0

    10%

    30%

    L

    /

    不扩容

    T-1

    85%

    30%

    L

    /

    不扩容

    T-2

    85%

    30%

    L

    /

    不扩容

    T-3

    85%

    30%

    L

    /

    不扩容

    T-4

    85%

    30%

    L

    /

    不扩容

    T-5

    85%

    30%

    L

    /

    不扩容

    T-6

    85%

    30%

    L

    L

    扩容至 L

    T-7

    85%

    30%

    L

    L

    不扩容

    T-8

    85%

    40%

    L

    L

    不扩容

    T-9

    85%

    40%

    L

    L

    不扩容

    T-10

    85%

    40%

    L

    L

    不扩容

    T-11

    85%

    40%

    L

    L

    不扩容

    T-12

    85%

    40%

    L

    XL

    扩容至 XL

    T-13

    85%

    40%

    L

    XL

    不扩容

    T-14

    85%

    40%

    L

    XL

    不扩容

    T-15

    85%

    40%

    L

    XL

    不扩容

    T-16

    85%

    40%

    L

    XL

    不扩容

    T-17

    85%

    40%

    L

    XL

    不扩容

    T-18

    85%

    40%

    L

    2XL

    扩容至 2XL

  • 缩容过程

    • 在业务负载低谷期,连续 5 个周期(T-1 至 T-5)的 CPU 负载均低于设定阈值 40%,系统将在 T-6 周期按阶梯从当前最大规格(2XL)向下缩容,先收缩 1 个规格的弹性资源(即 L+2XL→L+XL)。
    • 接下来 5 个周期(T-7 至 T-11)中的 CPU 负载仍低于阈值,系统在 T-12 周期收缩至更低规格(即 L+XL→L+L)。
    • 随后的 5 个周期(T-13 至 T-17)中的 CPU 负载依旧低于阈值,系统将在 T-18 周期继续收缩(即 L+L→L),此时弹性资源为 0,计算组仅保留基础资源,不再缩容。

    时间

    CPU 负载

    Memory 负载

    基础资源

    弹性资源

    是否扩缩容

    T-0

    60%

    60%

    L

    2XL

    不缩容

    T-1

    30%

    40%

    L

    2XL

    不缩容

    T-2

    30%

    40%

    L

    2XL

    不缩容

    T-3

    30%

    40%

    L

    2XL

    不缩容

    T-4

    30%

    40%

    L

    2XL

    不缩容

    T-5

    30%

    40%

    L

    2XL

    不缩容

    T-6

    30%

    40%

    L

    XL

    缩容到 XL

    T-7

    30%

    40%

    L

    XL

    不缩容

    T-8

    30%

    40%

    L

    XL

    不缩容

    T-9

    30%

    40%

    L

    XL

    不缩容

    T-10

    30%

    40%

    L

    XL

    不缩容

    T-11

    30%

    40%

    L

    XL

    不缩容

    T-12

    30%

    40%

    L

    L

    缩容到 L

    T-13

    30%

    40%

    L

    L

    不缩容

    T-14

    30%

    40%

    L

    L

    不缩容

    T-15

    30%

    40%

    L

    L

    不缩容

    T-16

    30%

    40%

    L

    L

    不缩容

    T-17

    30%

    40%

    L

    L

    不缩容

    T-18

    30%

    40%

    L

    /

    关闭弹性资源

计算组使用指引