You need to enable JavaScript to run this app.
导航
LAS作业开发
最近更新时间:2025.10.16 10:57:53首次发布时间:2025.08.25 15:31:51
复制全文
我的收藏
有用
有用
无用
无用

本文介绍如何使用开发机进行作业开发。
作业开发的典型做法是启动一台开发机进行远程作业开发。作业开发完毕之后,将作业打包,使用 LAS 任务管理功能运行线上作业。用户也可以选择在本地进行作业开发,但是由于操作系统、模型支持、python 包支持等方面的问题,还是推荐使用 LAS 预置开发机进行作业开发。

前提条件

说明

创建开发机推荐挂载文件存储 vePFS 或者对象存储 TOS。原因基于以下两点:

  • 开发机可能会有重建需求,使用 vePFS/TOS 可以保存代码。
  • 开发机可以和分布式任务的容器共享 vePFS/TOS,这样无需打包镜像或者作业包即可运行作业(下文会详细解释)。
  • 已安装ve-daft且更新为最新版本。创建开发机时,如果选择 ve-daft 镜像,则 ve-daft 及其 python 依赖、模型依赖均已安装。
    在开发机内更新 ve-daft 的方式如下:

    1. 点击下载更新包
    2. 安装ve-daft 以及 LAS 提供的算子包。
    # 安装 ve-daft 以及 LAS 提供的算子包
    pip install {安装包名称}[las]
    pip install {安装包名称}[flash-attn] # 模型加速工具
    
  • 已通过 SSH 远程连接开发机。详细操作请参考:远程连接开发机

作业开发与线上运行

作业开发

方式一:使用 vePFS/TOS 挂载

Image

方式二:使用镜像

Image

说明

方式二在开发阶段因需频繁打镜像和下载镜像而存在明显缺点,但在运行时能凭借镜像保障环境稳定,具有显著优势。

代码开发

环境准备完毕,就可以在 TRAE/vscode/terminal 进行代码开发了。

上线运行

可以参考任务管理,将开发好的作业提交任务管理运行。

方式一:使用 vePFS/TOS 挂载

  1. 填写与开发机相同的基础镜像,或者至少同系列的新版镜像。
  2. 填写主 python 脚本的调用命令。Python 命令尽量使用绝对路径。
  3. 填写环境变量,一般情况下常见的环境变量有。
export ACCESS_KEY=xxx
export SECRET_KEY=xxx
export TOS_ENDPOINT=https://tos-cn-beijing.volces.com  # 内网使用 https://tos-cn-beijing.ivolces.com
export TOS_REGION=cn-beijing
  1. 挂载的 vePFS/TOS 路径,注意挂载路径需要和开发机保持一致。

方式二:使用镜像

  1. 首先在开发机页面保存开发机镜像:

Image

  1. 如方式一,在任务管理页面选择刚才创建的镜像,填写好启动命令和环境变量即可(无需挂载 vePFS/TOS)。