E-MapReduce
E-MapReduce
- 文档首页
E-MapReduceEMR Serverless 队列操作指南提交作业Serverless Spark 作业SparkJar 作业
文档反馈
问问助手为满足用户定制化数据查询分析的需求，EMR Serverless Spark 提供了可视化提交 SparkJar 作业的方式。用户可以编写 Java 代码，提交 SparkJar，完成分布式数据处理。本文为您介绍多种提交 SparkJar 作业的操作步骤。
- 已创建一个具有通用资源的资源队列或公共队列。具体操作可参考：创建资源队列。拥有队列 Developer/Admin 权限。
- 已将作业文件、依赖 Jar 包及依赖 File 上传至当前 Serverless 队列同区域的 TOS 桶中。
提交作业：通过控制台
- 登录 EMR Serverless 控制台，在左侧导航栏单击 作业中心 > 作业管理，进入作业管理页面后单击右上角的”创建作业“，进入作业创建页面。
您也可以在 Serverless 的队列/计算组页面的右上角单击“创建作业”，跳转至创建作业页面。 - 在作业创建页面配置作业参数。
- 配置作业基本信息与资源配置。
- 自定义作业名称，作业类型选择 Spark JAR。
- 选择作业运行的队列资源，并选择开发模式：可选择 UI 或者 JSON。
- 配置作业内容，不同开发模式下的配置方式不一致，参数说明可参见下文作业参数参考：UI 模式、作业参数参考：JSON 模式。
- 配置作业基本信息与资源配置。
- 完成作业编辑后，单击右下角的 创建并运行 按钮，提交作业。
您也可以仅创建，后续在作业列表页面再手动触发任务运行。
作业参数参考：UI 模式
参数名称 | 参数作用 |
|---|---|
Main 方法 | SparkJar 作业运行的主类 |
主任务文件 | SparkJar 作业的主要 Jar 资源，您可以将资源上传至 TOS，然后在此指定 TOS 路径 |
依赖 Jar(Jars) | 除了任务主文件，SparkJar 作业还支持添加一些依赖的 Jar 文件，在任务运行时会被同时添加至任务 classpath 中。同样，您可以将资源上传至 TOS 并在此指定路径 |
依赖File 资源(Files) | SparkJar 作业的依赖文件，用户可以在任务代码中，通过 API 访问 |
依赖archive | SparkJar 作业的依赖archive |
Spark 参数(Spark Conf) | Spark 作业参数，可以指定 Spark 作业所用的资源等 |
Main 参数(Main Conf) | SparkJar 作业主类运行时，需要传入的参数 |
存储挂载路径 | 设置当前作业可能需要挂载的存储路径，详情请参见存储挂载概述。 |
作业参数参考：JSON 模式
其中，UI 模式字段名和 JSON 模式的字段 KEY 的对应关系如下：
UI 模式 | JSON 模式 | 是否必须 | ||
|---|---|---|---|---|
作业名称 | Name | Y | ||
语言类型 | Language | Y | ||
主类（Main Class） | MainClass | Y | ||
队列 | Queue | Y | ||
资源文件 | MainFile | Y | ||
依赖 Jar（Jars） | DependJars | N | ||
其他依赖文件（Files） | DependFiles | N | ||
Spark参数（Spark Conf） | Conf | N | ||
自定义参数（Main Conf） | MainArgs | N | ||
提交作业：通过 SDK
目前 EMR Serverless 支持 Java 和 Python 两类 SDK。Java SDK 使用方式请参考：Java Query SDK；Python SDK 使用方式请参考：Python Query SDK。
提交作业：通过 Spark Submit
使用方式请参考文档：Spark Submit 工具使用说明。
进阶操作：如何读写库表
对于 SparkJar 作业，默认无法读写用户账户下 LAS 的库表，如果您想在 SparkJar 作业中，通过 Spark SQL/Table Api 进行库表的读写，需要在 Spark 参数中额外设置：
参数名称 | 参数值 |
|---|---|
serverless.spark.access.key | 访问LAS 库表所需的Access Key |
serverless.spark.secret.key | 访问LAS 库表所需的Secret Key |
作业创建完成后，您可以在作业列表页面查看所有已创建的作业，并可手动触发作业运行，或者对作业进行编辑修改、删除的操作。
在作业提交后，您也可以在 作业中心 > 作业实例 页面查看所有已提交的作业运行实例详情，包括运行状态、作业类型、资源详情、提交人等。
- 您可以在页面顶部通过实践范围、提交人等过滤条件快速筛选出待查看的作业实例，查看作业实例详情。
- 对于运行失败的作业，您可单击“日志”，查看作业运行详细日志，进行作业失败原因定位；您也可以使用 “AI 诊断” 功能，进行作业智能诊断。