Serverless 队列
资源配额
- 独占队列的弹性部分不得超过 MAX(100% 固定 CU 数,256 CU)。
- 公共队列默认上限为 1000 CU,如需更高配额,可通过 提工单 的方式,联系火山引擎技术支持人员申请。
- 使用 GPU 资源,可通过 提工单 的方式,联系火山引擎技术支持人员申请。
- 指定任务资源规格时,单 Pod 规格不能超过 32core 128g,同时 core 和内存比例要控制在1:8之内。
查询性能
- 单租户默认支持最多 200 并发任务,如需更多并发,可通过 提工单 的方式,联系火山引擎技术支持人员申请。
弹性扩缩容
- 公共队列与带弹性资源的独占队列,在高并发或资源紧张场景下无法保证资源申请成功,且可能导致任务在等待资源期间运行慢。
- 对于有强资源保障需求的场景,建议采用独占队列的固定资源。
Shuffle 作业
- 队列默认使用共享 Shuffle 资源池,单作业最大 Shuffle 数据量为 100 TB。
- 高峰期容量不足可能导致作业延迟或失败。重度 Shuffle 场景建议使用独立 Shuffle 集群,如需使用请通过 提工单 的方式,联系火山引擎技术支持人员申请。
小文件合并与清理
- EMR Serverless 仅提供计算能力,不会自动合并小文件或清理过期文件。
- 用户需主动合并与清理数据,若未处理,易产生碎片和冗余,增加元数据及 IO 开销,进而导致查询延迟、成本上升。
地域与可用区限制
服务覆盖范围有限,仅在如下指定可用区提供服务。
- 华北2(北京)
- 华东2(上海)
- 华南1(广州)
- 亚太东南(柔佛)
- 华北2(北京)自动驾驶云
- 华北2(北京)自动驾驶云 2
- 华东2(上海)自动驾驶云
Serverless 实例
产品服务
地域与可用区限制:服务覆盖范围有限,仅在如下指定可用区提供服务。
- 华北2(北京)
- 华东2(上海)
- 华南1(广州)
- 亚太东南(柔佛)
- 华东2(上海)自动驾驶云
数据恢复与防误删配置说明
在 EMR 环境下使用 TOS 对象存储时,为规避非预期删除导致的不可逆风险,必须根据桶(Bucket)类型开启相应的安全防护功能。
- 扁平桶(Flat Bucket):必须开启版本控制。开启后,删除操作将仅生成“删除标记(Delete Marker)”,历史版本数据依然留存,确保在误删后可进行版本回溯。
- 分层桶(Hierarchical Bucket):必须开启回收站。开启后,通过 FileSystem 的 delete 方法,或 hadoop rm 等指令删除的文件或目录将被移入回收站,并在配置的保留期限内提供“反悔”窗口。若未开启,数据将直接被物理删除。
注意
建议参考上述内容进行配置,若未开启保护,任何删除操作都将导致数据永久性损失。