MapReduce2--E-MapReduce-火山引擎

文档中心

简体

文档备案控制台

E-MapReduce

了解 EMR 并上手 Serverless 队列 EMR on ECS EMR on VKE Serverless 实例组件与 API 参考

E-MapReduce

E-MapReduce

组件与 API 参考

请输入

API 参考

EMR on ECS API参考

使用前必读

调用方法

公共错误码

集群管理

UpdateClusterAttribute - 更新集群属性

ReleaseCluster - 释放或退订集群

ListClusters - 集群列表

GetCluster - 获取集群

CreateCluster - 创建集群

操作管理

ListOperations - 操作列表

订单管理

ListOrders - 订单列表

节点组管理

ScaleOutNodeGroup - 扩容节点组

CreateNodeGroup - 创建节点组

UpdateNodeGroupChargeType - 更新节点组付费类型

ScaleInNodeGroup - 缩容节点组

UpdateNodeGroupEcsSpec - 更新节点组ECS规格

ScaleUpNodeGroupDisk - 扩容节点组磁盘

ListNodeGroups - 节点组列表

DeleteNodeGroup - 删除节点组

UpdateNodeGroupAttribute - 更新节点组属性

ListNodes - 节点列表

ListNodeGroupElasticScheduledInstances - 获取节点组ESI实例列表

用户管理

GetClusterUsers - 获取EMR管控用户详情

UpdateClusterUserPassword - 更新集群用户密码

ListClusterUsers - 获取集群用户列表

DeleteClusterUser - 删除集群用户

UpdateClusterUser - 修改已创建用户信息

CheckUserCredentials - 校验集群用户

CreateClusterUser - 创建集群用户

用户组管理

GetClusterUserGroups - 集群用户组详情

ListClusterUserGroups - 获取集群用户组列表

CreateClusterUserGroup - 创建集群用户组

DeleteClusterUserGroup - 删除集群用户组

UpdateClusterUserGroup - 更新集群用户组

应用管理

ListApplicationConfigs - 配置项列表

GetApplicationConfigFile - 获取集群配置文件信息

RunApplicationAction - 执行应用操作

ListApplicationConfigFiles - 集群配置文件列表

UpdateApplicationConfig - 更新配置项

ListApplicationConfigHistories - 配置项修改历史列表

GetApplicationPacket - 获取应用安装包信息

ListApplications - 集群列表

ListComponentInstances - 组件实例列表

ListComponents - 组件列表

API 版本说明

EMR on VKE API参考

使用前必读

集群管理

CreateVirtualCluster - 创建集群

GetVirtualCluster - 查看集群详情

DeleteVirtualCluster - 删除集群

ListVirtualClusters - 集群列表

操作管理

GetOperation - 查看操作日志信息

应用管理

UndeployApplications - 卸载应用

DeployApplications - 部署应用

RunApplicationAction - 运行应用Action

ListApplications - 应用列表

EMR Serverless API参考

调用方法

公共错误码

SDK 参考

EMR on ECS SDK 参考

EMR Serverless SDK 参考

Spark-submit 工具使用说明

Python Query SDK

组件操作指南

Airflow

基础使用

常见问题和注意事项

Celeborn

Celeborn常见问题

ClickHouse

Delta Lake

DolphinScheduler

DolphinScheduler 对接 EMR Serverless

使用作业插件（Task Plugin）

使用 Spark submit

Dolphin Serverless 任务输出 JobID

最佳实践

DolphinScheduler 对接 TOS 最佳实践

DolphinScheduler 支持火山语音告警

DolphineScheduler shell kill应用实践

Doris

高阶使用

最佳实践

Doris连接Tableau

Flink

Flink 基础使用

Flink SQL Client 使用参考

Flink 支持 protobuf 格式

HBase

高阶使用

HBase内存调优

HDFS

Hive

基础使用

Hive 基础操作

Hive 连接方式

确定 HiveServer2 地址

Hive3 使用注意事项

高阶使用

管理 LDAP 认证

Hive 作业调优

HiveServer2 负载均衡

Hive 支持中文字段名和中文分区

开发指南

自定义函数 (UDF)

最佳实践

Hive 访问 Hudi 数据

在 EMR on ECS 集群运行TPC-DS Benchmark

Hue

最佳实践

通过hue进行数据查询

Hue 高可用访问集群内其他服务

Iceberg

基础使用

Iceberg 基础使用

Iceberg 基础使用（适用于EMR2.x版本）

Doris 实例访问 Iceberg Catalog

高阶使用

Iceberg 参数配置

Spark流式读写 Iceberg

Spark流式读写 Iceberg（适用于EMR 2.x版本）

Spark批式读写Iceberg

Iceberg与Trino/Presto集成

Iceberg与Flink集成

Hive 中操作 Iceberg 数据

TOS 中操作 Iceberg 表

TOS 中操作 Iceberg 表（适用于 EMR 2.x 版本）

Dataleap 中使用 Iceberg

Impala

基础使用

Impala 基础操作

Impala 连接方式

Impala-shell 工具

高阶使用

管理 LDAP 认证

最佳实践

使用 Impala 访问 Kudu

Kafka

Kerberos

使用 Kerberos 认证集群

配置 Kerberos 集群间跨域互信

EMR 使用外部KDC

Knox

Kudu

基础使用

Kudu 基础操作

高阶使用

Impala 集成 Kudu

使用 Flume 同步数据到 Kudu

Kyuubi

Kyuubi 快速开始

Kyuubi 高级特性

Lance

湖格式转换

湖格式转换 Ray 读取 Webdataset 写入 Lance

生态与集成

使用 Ray 操作 Lance 数据

EMR Serveless Spark 与 Lance 集成

最佳实践

使用 Lance Python SDK 访问 TOS 上的 Lance 数据

使用 Lance 数据格式训练 CLIP 多模模型

使用 Lance 数据格式做多模态向量数据检索

EMR Daft 集成 Lance 操作指南实践

使用场景

Livy

MapReduce2

OpenLDAP

最佳实践

手动配置LDAP认证

Paimon

Phoenix

Presto

Proton

发行版本

Proton 发行版本

JobCommitter版本

基础使用

身份与权限配置

Hadoop 使用 Proton

Spark 使用 Proton

Flink 使用 Proton

Hive 使用 Proton

Impala 使用 Proton

DolphinScheduler 使用 Proton

快速上手

Proton 缓存模式

Proton 缓存模式（TOS加速器）

Proton 无缓存模式

高阶使用

Proton 确定缓存大小

Proton元数据同步

Distcp拷贝数据到TOS

Proton 参数配置

Proton按需缓存使用手册

Distcp从OSS拷贝数据到TOS

使用 FUSE 挂载 Proton

最佳实践

EMR 存算分离JobCommitter最佳实践

Proton SDK调优指南

Proton加速模式快速入门

PyProton

FSSpec介绍与使用

PyProton 介绍与使用文档

PyProton 使用最佳实践

在Python环境中使用FSSpec

在Ray Data中使用TOSFS

在Pytorch训练框架中使用FSSpec

Pulsar

Ranger

组件集成

高阶功能

Hive 数据脱敏

Ranger User Sync 集成LDAP

查看Ranger审计日志信息

配置DataLeap数据开发权限

Ray

Ray 镜像列表

Ray快速入门

Ray on VKE产品介绍

使用 RayHistoryServer 查看历史作业

Ray vs Spark对比

Lance-Ray库

EMR Lance-Ray 通用操作指导

Ray读取Webdataset写入lance

如何解决 Ray 集群的压力负载及内存溢出问题

RayJob 使用

RayJob快速入门

提交RayJob使用指导

通过Ray Dashboard查看任务情况

通过EMR监控RayJob

KubeRay RayJob提交使用指导

基于Ray实现流式数据处理

RayCluster 使用

RayCluster快速入门

提交Ray作业使用指导

使用Ray Dashboard监控作业

Ray访问TOS使用示例

使用Ray进行词频统计（WordCount)

Ray中Placement Group 使用指导

Ray GCS 使用指导

RayCluster 支持多 workergroup

RayCluster 挂载 PersistentVolumeClaim

KubeRay 管理不同命名空间的 RayCluster 使用指导

RayData 使用

AutoScale：使用AdaptiveStreamingExecutor

Ray Data Checkpoint在多模态数据处理中的应用实践

Ray Data 文件写出两阶段写入

最佳实践

Ray任务运行在GPU上

Ray Dashboard开启metrics能力

使用 Volcano Scheduler 替换 K8S Default Scheduler 运行 Spark 及 Ray 作业

RayCluster 开启 Autoscaler

Ray 接入日志服务TLS

将传统的 Python 程序改造为 Ray 程序的实践指南

Ray Data 在 LLM 数据预处理的最佳实践

Ray Data背压增强分析

Ray 在多模态图片处理的架构实践

基于 Ray Serve 构建模型在线推理服务

Spark

基础使用

PySpark 基础使用

Spark RDD 基础使用

最佳实践

Spark on GPU 最佳实践

MaxCompute Buildin Function Plugin

Spark 调优指南

使用 kubectl管理作业

新建 HiveMetaStore 集群并运行 SparkSQL 作业

Spark 集群手动关联 RSS 集群

Sqoop

StarRocks

规划 StarRocks 集群

运维管理

StarRocksUI使用

StarRocks参数配置

使用CLB实现负载均衡

用户和权限管理

StarRocks引擎指标观测说明

高阶使用

StarRocks 分区表使用

StarRocks 访问 TOS

StarRocks Spark Connector

StarRocks Flink Connector

数据湖分析

Catalog

Default Catalog

External Catalog

最佳实践

StarRocks高可用最佳实践

使用Serveless Flink实现MySQL到StarRocks数据集成

使用智能数据洞察对StarRocks数据进行分析

StarRocks表模型设计

使用DataSail实现MySQL到StarRocks数据集成

Starrocks跨大版本升级

TensorFlow

Tez

Trino

YARN

基础使用

Yarn Fair Scheduler配置

YARN 增强功能

YARN 队列管理

YARN 资源池管理

最佳实践

配置用户组队列映射

ZooKeeper

文档首页

E-MapReduce

组件操作指南

MapReduce2

组件操作指南

MapReduce2

使用说明