创建 Spark 作业
最近更新时间：2023.09.01 17:33:40
首次发布时间：2022.08.12 10:49:42
为满足用户定制化数据查询分析的需求，LAS 提供了 Spark Jar 的计算方式。
在查询分析页面下，用户可以直接进行 Spark Jar 作业的编写和提交，编写方式支持 UI 模式和 JSON 模式。
点击左侧菜单栏的查询分析，进入查询分析界面，新建一个 Tab 页，开发类型选择 Spark Jar，即可进入作业的编写界面，可以选择 UI 模式或者 JSON 模式，也可以在编写过程中进行自由切换，Tab 页会自动保存编写内容。编写完成后即可提交作业，提交成功后，可以在作业管理页查看作业详细信息。
2.1 新建 Tab 标签页
可以通过 Tab 标签栏的菜单栏中添加按钮来新建 Tab 页。由于目前同一个账号最多只能存储 99 个 Tab 页，所以如果添加按钮处于置灰的状态，可以通过删除历史 Tab 页来使 Tab 标签页的总数量小于 99 从而新建。
2.2 切换作业类型
新建 Tab 后，默认的开发类型为 离线 SQL，在编辑区域上方，提供 开发类型 选项，可以在此切换到 Spark Jar 的编辑页面。
UI 模式（推荐）
JSON 模式
2.3 参数说明
其中，UI 模式字段名和 JSON 模式的字段 KEY 的对应关系如下：
| UI 模式 | JSON 模式 | 是否必须 | 说明 | ||
|---|---|---|---|---|---|
| 作业名称 | name | Y | 作业名称 | ||
| 语言类型 | language | Y | 作业的开发语言类型，暂时只支持 Java | ||
| 主类（Main Class） | mainclass | Y | 作业的主类 | ||
| 队列 | queue | Y | 运行作业的队列 | ||
| 任务主文件 - Schema | file - schema | Y | 作业主文件资源所在的 Schema | ||
| 任务主文件 - 资源文件 | file - filename | Y | 作业主文件资源名 | ||
| 依赖 Jar（Jars） - Schema | jars - schema | N | 额外依赖的 Jar 资源文件的 Schema | ||
| 依赖 Jar（Jars） - 资源文件 | jars- filename | N | 额外依赖的 Jar 资源文件 | ||
| 其他依赖文件（Files） - Schema | files - schema | N | 额外依赖的 File 资源文件的 Schema | ||
| 其他依赖文件（Files） - 资源文件 | files - filename | N | 额外依赖的 File 资源文件 | ||
| Spark参数（Spark Conf） | sparkconf | N | Spark Conf 相关参数 | ||
| 自定义参数（Main Conf） | mainconf | N | 作业主类的自定义参数 | ||
2.4 提交作业
作业信息编辑完成后，即可点击提交按钮，作业提交工具会自动提交作业，提交成功后，作业提交工具会在页面顶部显示一个 toast 信息进行提示。
Spark Jar 作业提交成功后，在当前 Tab 页等待几秒后，作业提交工具会自动跳转到作业管理页并筛选出用户刚提交的作业，你可以在此页面查看作业信息，并进行重跑、终止作业等操作。用户也可以直接进入作业管理页的 Spark Jar 作业列表，进行查看刚提交的作业任务。
当编辑后的 Spark Jar 作业提交运行成功后，作业提交工具会自动删除对应的 Tab 标签页，如果用户需要重新编辑相关作业内容，可以直接在作业管理页点击复制，将复制后的作业提交信息以 JSON 编辑模式在新建的 Tab 标签页进行重新编辑和提交。