You need to enable JavaScript to run this app.
导航
大数据文件存储
  • 文档首页
    • /
  • 大数据文件存储

缓存加速 CLI 命令

最近更新时间：2024.04.28 18:30:40

首次发布时间：2023.10.16 14:23:46

我的收藏

如果 CloudFS 实例开启了缓存加速，支持使用 CLI 命令。本文介绍在缓存加速场景常用的 CLI 命令的使用方式。

部署CLI
  1. 执行以下命令，下载1.5.2.12版本的CloudfsSDK包。
wget https://cloudfs.tos-cn-beijing.volces.com/sdk/prod/cloudfs-client-1.5.2.12.tar.gz
  1. 执行以下命令，解压CloudfsSDK包。
tar -zxvf cloudfs-client-1.5.2.12.tar.gz
  1. 配置环境变量。
export LD_LIBRARY_PATH=${CLOUDFSSDK_HOME}/lib/

CLI配置文件
  • 任意路径创建并配置cloudfs.conf配置文件
vim ${CLOUDFSSDK_HOME}/conf/cloudfs-fuse.conf
  • 编辑配置文件cloudfs-fuse.conf
# CloudFS Client Configurations

# CloudFS endpoint, e.g. cfs://xxx.cfs-cn-beijing.ivolces.com
cfs.filesystem.uri=
cfs.filesystem.fs-mode=ACC

# IAM Auth info
cfs.access.key=
cfs.secret.key=

# Required settings for ACC mode
cfs.filesystem.ns-id=
cfs.filesystem.ufs-path=

参数

说明

cfs.filesystem.uri

文件存储实例的挂载点。设置时需要在挂载点前添加前缀 cfs://。
如何获取，请参见查看文件存储实例。

cfs.access.key

创建文件存储实例时的账号的 Access Key ID，获取方式请参见密钥管理。

cfs.secret.key

创建文件存储实例时的账号的 Secret Access Key，获取方式请参见密钥管理。

cfs.filesystem.ns-id

文件存储实例挂载的存储桶的 Namespace ID（即 TosNamespace ID）。如何获取，请参见查看文件存储实例。

cfs.filesystem.ufs-path

文件存储实例挂载的存储桶的完整存储地址，格式为tos://<存储桶名称>/<文件存储前缀>。
示例：tos://bucket/prefix/。

执行示例

执行以下命令获取文件列表

${CLOUDFSSDK_HOME}/bin/cfs ls tos://bucket/prefix/ --config-file ${CLOUDFSSDK_HOME}/conf/cloudfs-fuse.conf

命令列表

ls

CLI 列举文件，使 CloudFS 同步 TOS 上的元数据。列举的path可以填写本地挂载路径的子路径，或者挂载 TOS 的子路径。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs ls [OPTION] <path>
    
DESCRIPTION
    -R, --recursive
            递归列举子目录
        --depth
            配合"-R"使用，表明 list 路径深度。"0"表示仅 list 当前路径，"1"表示 list 当前路径及其子路径，以此类推。默认值为 32767。
        --concurrency
            递归列举子目录最大并发量。默认值为 100。
        --config-file
            配置文件路径，即cloudfs.conf 路径。

如果超过 30 秒没有打印 list 结果，会打印当前已经 list 的文件数量以提示进度。示例如下：

1327202 paths have been listed as of Dec 21 10:37:06

load

将底层文件系统的元数据或数据加载至 CloudFS 缓存。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs load [OPTION] <path>
    命令执行后会返回 JOB ID，该 JOB ID 用于之后查询任务状态。
    
DESCRIPTION
    -d, --data
            将数据从底层文件系统加载至 CloudFS 缓存。
    -m, --metadata
            将元数据从底层文件系统加载至 CloudFS 缓存。
    -r, --recursive
            递归加载数据或元数据。
        --replica
            加载数据的副本数，默认为 1。
        --config-file
            配置文件路径，即cloudfs.conf路径。

free

释放 CloudFS 中的数据或元数据。该命令不会影响底层文件系统的数据。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs free [OPTION] <path>
    命令执行后会返回 JOB ID，该 JOB ID 用于之后查询任务状态。
    
DESCRIPTION
    -m, --metadata
           释放 CloudFS 元数据。
    -r, --recursive
            递归释放数据或元数据。
        --config-file
            配置文件路径，即cloudfs.conf路径。

lookup

查询任务状态。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs lookup <job ID>
 
DESCRIPTION  
        --config-file
            配置文件路径，即cloudfs.conf路径。

cancel

取消任务。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs cancel <job ID>

DESCRIPTION
        --config-file
            配置文件路径，即cloudfs.conf路径。

du

展示 CloudFS 中路径缓存使用的统计值。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs du [OPTION] <path>
    
DESCRIPTION
    -h, --human-readable      
    -s, --summarize
            对指定路径进行汇总显示。
        --config-file
            配置文件路径，即cloudfs.conf路径。