使用 vePFS 文件存储静态存储卷

容器服务支持通过 CSI 使用 vePFS 文件存储，本文为您介绍如何创建 vePFS 文件存储类型的存储卷和存储卷声明，以及工作负载如何使用 vePFS 文件存储静态存储卷。

背景信息

文件存储 vePFS 是火山引擎推出的一种高吞吐、低延时、可扩展并行的文件系统服务，满足高性能计算场景下高吞吐低延时的数据读写需求，可广泛应用于 HPC 高性能计算、AI 人工智能训练或推理、能源勘探、工业仿真、影视渲染、生命科学、气象分析等场景。同时，vePFS 提供一键化部署及配套监控报警能力，免去部署、维护费用的同时，最大化提升您的业务效率。更多详细介绍参见：文件存储 vePFS。

典型应用场景如下：

• 高性能计算：生物制药、基因测序、模拟仿真、图像处理、气象预报等高访问带宽、低延迟类高性能计算场景下，需要尽可能提升计算资源的利用率，并满足海量业务带来的高吞吐、高 IO 性能及高可扩展性需求。文件存储 vePFS 提供超高 IOPS 产品能力，并支持在线弹性扩展，可快速实现容量及吞吐性能的线性增长，提升计算效率的同时，简化产品的运维的难度及成本。

• AI 数据处理：图片、视频处理等 I/O 密集型应用，数据流复杂、数据量增长快，海量数据需要实现高速处理及低成本的数据生命周期管理。 文件存储 vePFS 打破传统存储系统存在的 I/O 性能瓶颈，提升 AI 训练场景的小文件读取速度，收敛业务模型的训练迭代周期，同时提供冷热数据的分级存储，为您降低存储成本提供最佳方案。

前提条件

• 确保当前集群已经安装 vePFS 文件存储服务组件 csi-vepfs，操作方法参见：安装组件。
• 已经创建 vePFS 文件存储实例和挂载服务，并将挂载服务绑定到存储实例。详细介绍参见：创建 vePFS 文件系统、创建挂载服务、绑定存储实例。
• （可选）若通过 kubectl 命令行使用，确保本地已经将安装 kubectl 工具。详细操作参见：安装和设置 kubectl。

使用限制

• 当前通过 CSI 使用 vePFS 文件存储的方案与原有 VKE 接入使用 vePFS 方案不能同时使用。因此，建议创建新集群使用 CSI 方案，若存量资源需要迁移最新 CSI 方案，请 提交工单 获取技术支持。
• 单个 vePFS 实例支持绑定多个挂载服务；单个挂载服务也支持绑定到多个 vePFS 实例。
• 单个 ECS 只能加入一个 vePFS 挂载服务（相当于客户端集群），一个挂载服务可以绑定多个文件系统存储实例。
• 一个节点仅支持绑定一个挂载服务，因此，推荐一个 VKE 集群绑定一个 vePFS 挂载服务。
• vePFS 暂不支持使用 veLinux CentOS 兼容版镜像。
• 若 csi-vepfs 组件被卸载，正在运行的 Pod 仍可继续访问 vePFS 存储至运行结束；但若 csi-vepfs 已经被卸载，删除 Pod 将会阻塞住，重新安装 csi-vepfs 后可继续删除 Pod。因此，不建议在 Pod 运行的时卸载 csi-vepfs 组件。
• csi-vepfs 使文件系统客户端运行在专用容器中，vePFS 客户端将占用容器 Kubernetes 节点的计算资源（默认占用 4 CPU 和 4 GiB 内存），若节点资源紧张，csi-vepfs 客户端容器将无法启动成功，Pod 也将阻塞在创建阶段无法启动。

操作步骤

可根据实际情况选项控制台或 kubectl 命令行方式使用 vePFS 文件存储静态存储卷。

方式一：通过控制台使用

已经登录 容器服务控制台 的情况下，可直接通过控制台使用 vePFS 文件存储静态存储卷。

步骤一：创建存储卷（PV）

1. 单击目标集群名称，在集群管理页面选择 存储管理 > 存储卷。
2. 在存储卷管理页面，单击 创建存储卷。
3. 在弹出的存储卷创建页面，配置 vePFS 文件存储类型存储卷相关参数，完成后单击 确定 。

步骤二：创建存储卷声明（PVC）

1. 单击目标集群名称，在集群管理页面选择 存储管理 > 存储卷声明。
2. 在存储卷管理页面，单击 创建存储卷声明。
3. 在弹出的存储卷声明创建页面，配置 vePFS 文件存储类型存储卷声明相关参数，完成后单击 确定 。

步骤三：工作负载添加卷

vePFS 文件存储类型的静态存储卷创建完成后，可通过添加卷的方式挂载到工作负载使用，包括：无状态负载、有状态负载、任务、定时任务、守护进程。

可通过创建工作负载或更新工作负载操作的容器配置步骤，为工作负载添加卷并挂载卷。详细操作参见：工作负载。

方式二：通过 kubectl 命令行使用

已经 连接集群 的情况下，可通过 kubectl 命令行使用 vePFS 文件存储静态存储卷。

步骤一：连接鉴权

依次执行以下命令，将 vepfs 管理节点的 ssh 连接鉴权信息写在 secret 中。

echo -n '[
    {
        "address":"10.244.0.1",
        "password":"sshpassword",
        "hostname":"i-host1"
    },
    {
        "address":"10.244.0.2",
        "password":"sshpassword",
        "hostname":"i-host2"
    },
    {
        "address":"10.244.0.3",
        "password":"sshpassword",
        "hostname":"i-host3"
    }
]' > /tmp/vepfs-hots.json


kubectl create secret generic vepfs-secret --namespace kube-system --from-file=vepfsHosts=/tmp/vepfs-hots.json

步骤二：创建存储卷（PV）

1. 创建 PV 的 YAML 文件。示例文件vke-vepfs-static-pv.yaml代码如下：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: vepfs-static-pv           # PV 名称，建议 PV name 集群内唯一。
  namespace: default
  annotations:
    pv.kubernetes.io/provisioned-by: vepfs.csi.volcengine.com
spec:
  volumeMode: Filesystem
  accessModes:             # 访问方式，ReadWriteMany：多点读写。
    - ReadWriteMany
  capacity:
    storage: 20Gi          # 声明的存储容量，Kubernetes 必填字段，但对 vePFS 没有意义，仅作为校验参数必填。
  persistentVolumeReclaimPolicy: Retain   # PV 回收策略。Retain 表示保留策略，Delete 表示删除策略。
  csi:
    driver: vepfs.csi.volcengine.com      # 驱动类型，本示例为 vepfs.csi.volcengine.com ，表示火山引擎 csi-vepfs 插件。
    readOnly: false
    nodeStageSecretRef:                        # Secret 对应的不同 vepfs 挂载服务。
      name: vepfs-secret
      namespace: kube-system
    controllerPublishSecretRef:
      name: vepfs-secret
      namespace: kube-system
    volumeAttributes:
      fsid: vepfs-cnbje469fac6e7b3                # 文件系统的 ID。
      mountServiceID: mount-ff0b****              # 挂载服务。
      securityGroupId: msadgh-14332               # vePFS 挂载点客户端安全组。
      # pass resource request and limit value
      # memoryRequest: 4Gi
      # memoryLimit:
      mountpoint: /vepfs-cngld101c279f1b7          #挂载点。
    volumeHandle: vepfs-cnbje469fac6e7b3           # PV 的唯一标识符，要求与 fsid 保持一致。

2. 执行以下命令，创建 PV。

kubectl create -f vke-vepfs-static-pv.yaml

步骤三：创建存储卷声明（PVC）

1. 创建 PVC 的 YAML 文件。示例文件vke-vepfs-static-pvc.yaml代码如下：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: vepfs-static-pvc        # PVC 名称。
  namespace: default            # PVC 所属的命名空间。
spec:
  accessModes:                  # PVC 访问方式。目前仅支持 ReadWriteMany ，表示多点读写。
    - ReadWriteMany
  resources:
    requests:
      storage: 20Gi             # 声明的存储容量，Kubernetes 必填字段，但对 vePFS 没有意义，仅作为校验参数必填。
  volumeName: vepfs-static-pv   # 绑定到该 PVC 的 PV 名称。

2. 执行以下命令，创建 PVC。

kubectl create -f vke-vepfs-static-pvc.yaml

3. 执行以下命令，查看 PVC 与 PV 的静态绑定结果。

kubectl get pvc

预期输出结果如下，表示 PVC 与 PV 静态绑定成功。

NAME                   STATUS   VOLUME                 CAPACITY   ACCESS MODES   STORAGECLASS   AGE
vke-vepfs-static-pvc   Bound    vke-vepfs-static-pv    10Pi       RWX                           2m36s

步骤四：创建 Deployment

1. 创建 Deployment 的 YAML 文件。示例文件deployment-nginx-static.yaml代码如下：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deployment-nginx-static
   spec:
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         containers:
         - name: nginx-c1
           image: cr-cn-beijing.volces.com/****/vci-demo-nginx:latest    # 指定需要部署的镜像文件。
           ports:
           - containerPort: 80
             name: nginx
           volumeMounts:
           - name: vepfs
             mountPath: /mnt/vepfs                # vePFS 在容器中挂载的位置。
         volumes:
           - name: vepfs
             persistentVolumeClaim:
               claimName: vepfs-static-pvc        # 步骤二中创建的 PVC 名称。
   

2. 执行以下命令创建 Deployment。

kubectl apply -f deployment-nginx-static.yaml

相关文档

• 创建无状态负载。
• 创建有状态负载。
• 创建任务。
• 创建定时任务。
• 创建守护进程。