简介

为满足用户个性化数据查询分析的需求，EMR Serverless Spark支持用户编写Python，并提交PySpark作业。
PySpark作业使用队列中的通用资源，请检查队列中是否存在通用资源，详见：Spark Jar作业开发指南。

准备工作

• 已创建 EMR Serverless 队列。 具体操作可参考：创建资源队列
• 已创建计算组，且拥有该计算组的 Developer/Admin 权限。详细操作请参考：队列权限。
• 已将作业文件上传至当前 Serverless 队列同区域的 TOS 桶中。

操作步骤

通过控制台提交作业

1. 登录 EMR Serverless 控制台，选择目标队列。

2. 进入编辑作业页面，有如下两种方式：
   方式一：

   1. 在队列详情页中，点击作业提交，进入编辑作业页面。
      方式二：
   2. 在队列详情页中，点击计算组。
   3. 进入计算组列表页面，选择并进入目标计算组，在计算组详情页的右上角，点击创建作业，进入作业编辑页面。

3. 在作业编辑框的右上角，开发类型选择 SparkSQL。

4. 在作业编辑框中进行 PySpark 作业的编辑，编辑完成后，可通过编辑框左下角的格式化按钮，对编辑中的作业进行规范化。如下以 test.py 作业为例：

   • 作业内容：

     set serverless.spark.access.key = XXXX;
     set serverless.spark.secret.key = XXXX==;
     set tqs.query.engine.type = sparkjar;
     set spark.jar.resource = tos://{bucket name}/{path}/test.py;
     

     说明

     该 demo 可以将 TOS 路径：tos://bucketname/path/test.py下的 py 代码文件作为 PySpark 中的可执行 Python 代码，并提交至 Serverless Spark 中。其中参数含义参考如下：

     参数名称	参数值
     serverless.spark.access.key	您访问 LAS Catalog 库表以及 TOS 所需的 Access Key，您可从 IAM 访问密钥中拿到自己账户的 AK
     serverless.spark.secret.key	您访问 LAS Catalog 库表以及 TOS 所需的 SK
     tqs.query.engine.type	作业类型，这里固定为sparkjar
     spark.jar.resource	您的 Python 代码所存放的 TOS 路径

   • test.py 文件内容：

     import sys
     from random import random
     from operator import add
     
     from pyspark.sql import SparkSession
     
     if __name__ == "__main__":
         """
             Usage: pi [partitions]
         """
         spark = SparkSession\
             .builder\
             .appName("PythonPi")\
             .getOrCreate()
     
         partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
         n = 100000 * partitions
     
         def f(_: int) -> float:
             x = random() * 2 - 1
             y = random() * 2 - 1
             return 1 if x ** 2 + y ** 2 <= 1 else 0
     
         count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
         print("Pi is roughly %f" % (4.0 * count / n))
     
         spark.stop()
     

   说明

   在 Spark 官方文档中可查看更多的 PySpark 示例：PySpark Overview。

5. 完成 PySpark 作业编辑后，您可以通过控制台右上角的队列和计算组来选择计算资源，完成后点击左下角的运行按钮，提交作业。

6. 作业提交完成后，会弹出提交成功的标识，并在下方的查询日志中，会显示您本次提交的作业id，以及当前的任务状态，您可进一步在作业管理处查看详细任务情况。