You need to enable JavaScript to run this app.
AI 数据湖服务

AI 数据湖服务

复制全文
Daft
LAS作业开发
复制全文
LAS作业开发

本文介绍如何使用开发机进行作业开发。
作业开发的典型做法是启动一台开发机进行远程作业开发。作业开发完毕之后,将作业打包,使用 LAS 任务管理功能运行线上作业。用户也可以选择在本地进行作业开发,但是由于操作系统、模型支持、python 包支持等方面的问题,还是推荐使用 LAS 预置开发机进行作业开发。

前提条件

说明

创建开发机推荐挂载文件存储 vePFS 或者对象存储 TOS。原因基于以下两点:

  • 开发机可能会有重建需求,使用 vePFS/TOS 可以保存代码。
  • 开发机可以和分布式任务的容器共享 vePFS/TOS,这样无需打包镜像或者作业包即可运行作业(下文会详细解释)。
  • 已安装ve-daft且更新为最新版本。创建开发机时,如果选择 ve-daft 镜像,则 ve-daft 及其 python 依赖、模型依赖均已安装。
    在开发机内更新 ve-daft 的方式如下:

    1. 点击下载更新包
    2. 安装ve-daft 以及 LAS 提供的算子包。
    # 安装 ve-daft 以及 LAS 提供的算子包
    pip install {安装包名称}[las]
    pip install {安装包名称}[flash-attn] # 模型加速工具
    
  • 已通过 SSH 远程连接开发机。详细操作请参考:远程连接开发机

作业开发与线上运行

作业开发

方式一:使用 vePFS/TOS 挂载

Image

方式二:使用镜像

Image

说明

方式二在开发阶段因需频繁打镜像和下载镜像而存在明显缺点,但在运行时能凭借镜像保障环境稳定,具有显著优势。

代码开发

环境准备完毕,就可以在 TRAE/vscode/terminal 进行代码开发了。

上线运行

可以参考任务管理,将开发好的作业提交任务管理运行。

方式一:使用 vePFS/TOS 挂载

  1. 填写与开发机相同的基础镜像,或者至少同系列的新版镜像。
  2. 填写主 python 脚本的调用命令。Python 命令尽量使用绝对路径。
  3. 填写环境变量,一般情况下常见的环境变量有。
export ACCESS_KEY=xxx
export SECRET_KEY=xxx
export TOS_ENDPOINT=https://tos-cn-beijing.volces.com  # 内网使用 https://tos-cn-beijing.ivolces.com
export TOS_REGION=cn-beijing
  1. 挂载的 vePFS/TOS 路径,注意挂载路径需要和开发机保持一致。

方式二:使用镜像

  1. 首先在开发机页面保存开发机镜像:

Image

  1. 如方式一,在任务管理页面选择刚才创建的镜像,填写好启动命令和环境变量即可(无需挂载 vePFS/TOS)。
最近更新时间:2025.10.16 10:57:53
这个页面对您有帮助吗?
有用
有用
无用
无用