为了帮助您快速体验 Spark,快速入门主要介绍任务的开发流程,以及在开发任务前所必须的准备工作。
体验流程
![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/21412a4939884648a4e61e1a110fbbea~tplv-goo7wpa0wc-image.image)
- 初始化
主账号首次登录 Spark 控制台时,无权限使用任何功能,必须先完成服务初始化。相关操作,请参见服务初始化。 - 准备工作
在体验 Spark 任务流程之前,必须先完成以下准备工作:
- 导入子用户:主账号需要将子用户(IAM 用户)导入 Spark 控制台,以用作项目成员。
- 配置项目:主账号可以创建多个相互隔离、相互独立的项目空间,并为项目内添加不同角色的项目成员,以实现项目和资源的权限管控。
- 创建资源池:在项目内开发的任务,运行和调试作都需要消耗计算资源,所以在任务开发前,主账号或项目负责人需要提前在项目内创建好资源池。
- 任务开发
在 Spark 控制台上主要使用 Jupyter 进行任务开发,目前支持 Spark SQL、Spark JAR、Spark Python 等多种任务类型。快速入门中介绍了 Spark SQL 和 Spark JAR 类型任务的开发流程,详情请参见开发 Spark SQL 任务和开发 Spark JAR 任务。