You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
使用限制
EMR Serverless 使用限制
复制全文
EMR Serverless 使用限制

Serverless 队列

资源配额

  • 独占队列的弹性部分不得超过 MAX(100% 固定 CU 数,256 CU)
  • 公共队列默认上限为 1000 CU,如需更高配额,可通过 提工单 的方式,联系火山引擎技术支持人员申请。
  • 使用 GPU 资源,可通过 提工单 的方式,联系火山引擎技术支持人员申请。
  • 指定任务资源规格时,单 Pod 规格不能超过 32core 128g,同时 core 和内存比例要控制在1:8之内。

查询性能

  • 单租户默认支持最多 200 并发任务,如需更多并发,可通过 提工单 的方式,联系火山引擎技术支持人员申请。

弹性扩缩容

  • 公共队列与带弹性资源的独占队列,在高并发或资源紧张场景下无法保证资源申请成功,且可能导致任务在等待资源期间运行慢。
  • 对于有强资源保障需求的场景,建议采用独占队列的固定资源。

Shuffle 作业

  • 队列默认使用共享 Shuffle 资源池,单作业最大 Shuffle 数据量为 100 TB
  • 高峰期容量不足可能导致作业延迟或失败。重度 Shuffle 场景建议使用独立 Shuffle 集群,如需使用请通过 提工单 的方式,联系火山引擎技术支持人员申请。

小文件合并与清理

  • EMR Serverless 仅提供计算能力,不会自动合并小文件或清理过期文件。
  • 用户需主动合并与清理数据,若未处理,易产生碎片和冗余,增加元数据及 IO 开销,进而导致查询延迟、成本上升。

地域与可用区限制

服务覆盖范围有限,仅在如下指定可用区提供服务。

  • 华北2(北京)
  • 华东2(上海)
  • 华南1(广州)
  • 亚太东南(柔佛)
  • 华北2(北京)自动驾驶云
  • 华北2(北京)自动驾驶云 2
  • 华东2(上海)自动驾驶云

Serverless 实例

产品服务

地域与可用区限制:服务覆盖范围有限,仅在如下指定可用区提供服务。

  • 华北2(北京)
  • 华东2(上海)
  • 华南1(广州)
  • 亚太东南(柔佛)
  • 华东2(上海)自动驾驶云

数据恢复与防误删配置说明

在 EMR 环境下使用 TOS 对象存储时,为规避非预期删除导致的不可逆风险,必须根据桶(Bucket)类型开启相应的安全防护功能。

  • 扁平桶(Flat Bucket):必须开启版本控制。开启后,删除操作将仅生成“删除标记(Delete Marker)”,历史版本数据依然留存,确保在误删后可进行版本回溯。
  • 分层桶(Hierarchical Bucket):必须开启回收站。开启后,通过 FileSystem 的 delete 方法,或 hadoop rm 等指令删除的文件或目录将被移入回收站,并在配置的保留期限内提供“反悔”窗口。若未开启,数据将直接被物理删除。

注意

建议参考上述内容进行配置,若未开启保护,任何删除操作都将导致数据永久性损失。

最近更新时间:2026.03.17 19:55:53
这个页面对您有帮助吗?
有用
有用
无用
无用