Python

1 使用场景

Python 任务适用于处理的数据量较少且处理逻辑不复杂的场景，能够满足 Python 开发业务场景，支持版本 Python 3.7 。

2 前提条件

• 已开通DataLeap服务。
• Python 任务访问私有网络服务或资源时，需通过独享计算资源组访问，Python 任务界面不支持单独修改网络配置。

3 操作步骤

3.1 创建任务

1. 登录 DataLeap租户控制台。

2. 在概览界面，显示加入的项目中，点击数据开发进入对应项目。

3. 在任务开发界面，左侧导航栏中，点击新建任务按钮，进入新建任务页面。

4. 选择任务类型：

   1. 分类：数据开发。

   2. 绑定引擎：通用。

   3. 选择任务：离线数据 Python。

5. 填写任务基本信息：

   1. 任务名称：输入任务的名称，只允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且在127个字符以内。

   2. 保存至：选择任务存放的目标文件夹目录。

6. 点击确认按钮，成功创建任务。

   

3.2 编辑使用

任务创建成功后，进入代码开发编辑界面。

3.2.1 开发代码编辑

1. 支持语言：Python，如下所示：

print ("Hello, Python!")

2. 参数：支持时间参数 ${date}、${hour} 等，更多参数可参考：时间变量与常量说明

print ('${date}')

3.2.2 资源设置

1. 依赖包：代码中引用的第三方包，可在此手动输入三方包依赖。如需指定具体版本，按照 "plcga==1.6" 格式添加，多个依赖包，用英文分号分隔。

   注意

   • 配置依赖包时建议加上对应包的版本，以保证每次运行环境一致。

   • 代码中没有依赖的包，不建议添加配置。

2. 环境变量：设置系统环境变量时，避免直接覆盖系统环境变量，请按照追加方式指定，例如 PATH=$PATH:/usr/local/bin/python，多个环境变量用英文分号分隔。

3.2.3 网络配置（可选）

• 您可通过手动下拉的方式，选择访问任务数据源导入或导出所在的私有网络（VPC）、子网和安全组等网络信息。

  说明

  若是子账号登录创建任务时，选择网络环境需具备相关服务使用权限，需主账号在访问控制中，添加 DataLeapFullAccess 权限。

• 当项目已绑定独享计算资源组时，您也可通过独享计算资源组访问私有网络下的资源、服务等。网络配置信息来均源于独享计算资源组信息，暂不支持在任务界面直接修改，您可在创建独享计算资源组时，配置好对应的私有网络信息，详见：资源组管理。

3.2.4 任务产出数据登记

产出数据登记用于记录任务的数据血缘，不会对代码逻辑造成影响。

1. 引擎类型：E-MapReduce（EMR）和湖仓一体分析服务（LAS）、默认（没有产出登记）。

2. 关联实例：选择关联对应引擎下的实例信息。

3. 数据类型：仅 EMR 引擎类型下需选择数据类型，目前有 Hive、HDFS、其他。

4. 数据库表：选择对应引擎下产出的数据库和数据表。

3.2.5 执行设置

1. 单击进入右侧侧边栏执行设置窗口。

2. 选择计算资源组：支持选择公共计算资源组、独享计算资源组。

3. 镜像地址：
   支持您自定义镜像，建议使用火山引擎镜像仓库，使用时需要基于 DataLeap 提供的基础镜像进行构建，并且镜像类型选择“公有”，默认的基础镜像地址如下：

   • 北京地域：dataleap-cn-beijing.cr.volces.com/studio/runtime_light:online。

   • 上海地域：dataleap-cn-shanghai.cr.volces.com/studio/runtime_light:online。

   说明

   1. 基础镜像地址中仅包含最基础的 Linux 和 Python 命令，实际生产场景下，您可基于基础镜像地址，来构建符合实际生产要求的镜像。

   2. 若您自定义镜像的文件中有需加密的文件，希望该镜像文件只允许被固定任务使用，则您可以创建私有镜像类型，并将镜像仓库地址、用户名及密码等私有镜像配置信息，添加至独享计算资源组中，通过独享计算资源组来访问镜像文件。修改资源组镜像配置操作详见资源组管理。

   3. 私有镜像地址需要您手动填写 OCI 制品仓库中，具体镜像版本对应的网络地址信息，以实际填写的镜像地址为准。若遗漏填写的情况下，会访问到默认的基础镜像地址。

4. 资源配置：资源可根据实际需求进行配置，以 CU 为单位，默认配置 1CU(1CU = 1Core 4GB)，下拉可选择更多规格的资源配置。

   说明

   其中 0.25CU、0.5CU 规格，仅独享计算资源组支持选择。

3.2.6 调度设置

进入右侧边栏调度设置，配置节点调度相关属性。设置操作详见：调度设置。

3.3 保存任务

配置完成后，单击上方操作栏中保存图标按钮，保存节点至服务器。

3.4 调试任务

单击操作栏中调试图标按钮，执行编辑的 Python 命令，执行成功后，可在界面下方查看运行日志和结果。

3.5 提交发布任务

任务所需参数配置和调试任务成功后，将任务提交发布到运维中心离线任务运维中执行。
单击操作栏中的提交上线按钮，在弹窗中，需先通过提交事前检查和提交上线等上线流程，最后单击确认按钮，完成作业提交。详见概述---离线任务提交发布。

上线流程中的“提交事前检查”，需租户主账号或项目管理员先在项目控制台 > 流水线管理中，创建相应的流水线检查事宜后方可显示。详见流水线管理。

后续任务运维操作详见：离线任务运维。