通过创建数据流动，可以实现 vePFS 文件系统和 TOS 存储桶之间的数据同步。本文介绍数据流动的基本信息。 ## 背景信息为相同地域的 vePFS 文件系统和 TOS 存储桶之间配置数据流动后，vePFS 文件系统和 TOS 存储桶两者之间即可进行数据流动，vePFS 文件系统中的数据可导出至 TOS 存储桶（数据沉降），TOS 存储桶中的数据也可导入至 vePFS 文件系统（数据预热），从而保持两者之间数据同步。 ## 规格说明 |**类别** |**规格** |**指标** |**备注** | |---|---|---|---| |兼容性 |支持使用的文件系统规格 |所有规格的文件系统均支持使用 |\- | |配置带宽 |支持配置的带宽范围 |[500MB/s，min(20GB/s，该实例当前最大写带宽）] |如一个 6TiB 的 100MB/s/TiB 实例最大支持配置 500MB/s 的数据流动带宽 | |^^|带宽配置步长 |500MB/s |\- | |预热性能 |预热带宽上限 |配置带宽 |大文件（如4MiB）情况下可以达到上限 | |^^|单个预热任务 QPS 上限 |min（配置带宽每 GB/s × 2000, 20000） |* 小文件（如 4KiB）情况下可以达到上限|\ | | | |* 文件列表方式预热 QPS 上限 20000|\ | | | |* 路径配置方式预热 QPS 上限 12000 | |^^|多个预热任务并发 QPS 上限 |min（配置带宽每 GB/s × 2000, 80000） |小文件（如 4KiB）情况下可以达到上限 | |沉降性能 |沉降带宽上限 |配置带宽 |大文件（如 4MiB）情况下可以达到上限 | |^^|单个沉降任务 QPS 上限 |min（配置带宽每 GB/s × 2000, 20000） |* 小文件（如 4KiB）情况下可以达到上限|\ | | | |* 文件列表方式沉降 QPS 上限 20000|\ | | | |* 路径配置方式沉降 QPS 上限 6000 | |^^|多个沉降任务并发 QPS 上限 |min（配置带宽每 GB/s × 2000, 80000） |小文件（如 4KiB）情况下可以达到上限 | |对账性能 |单个对账任务 QPS 上限 |min（配置带宽每 GB/s ×2000, 10000） |\- | |^^|多个对账任务并发 QPS 上限 |min（配置带宽每 GB/s × 2000, 80000） |^^| |任务配置限制 |同时运行中的手动任务上限 |10 |\- | |^^|单个目录支持配置的流动任务 |1 个 |\- | |^^|单个任务可操作的最大文件/对象数量 |100 亿 |^^| |^^|任务对应文件系统路径深度限制 |无限制 |^^| |^^|任务对应文件系统路径总长度上限 |1024 个字符 |^^| |^^|任务对应文件系统中的目录名称长度上限 |255 个字符 |^^| |^^|任务对应文件系统中的文件名称长度上限 |213 个字符 |^^| |^^|任务指定文件列表中的文件数量 |* TOS 中的文件列表：10 亿|^^|\ | | |* 控制台上传文件列表：10 万 | | |^^|任务对应目录是否支持软链接 |支持文件系统软链接导出 |软链接可选忽略或导出为新文件 | ## 使用限制 |**限制项** |**限制说明** | |---|---| |流动配置 |* 支持对 vePFS 文件系统中的 Fileset (子目录）或目录手动配置数据流动任务。|\ | |* 当前仅支持为同地域的 vePFS 文件系统和 TOS 存储桶手动配置数据流动任务。|\ | |* 任务中配置的 Fileset（子目录）或目录、桶前缀不能与其他任务（状态为**创建中**、**运行中**或**取消中**）中的配置存在嵌套。 | |^^|^^| |文件系统 |* 目录、文件名中的特殊字符需要谨慎使用，支持大小写字母、数字、感叹号（！）、中划线（\-）、下划线（_）、半角句号（.）、星号（\*）和半角圆括号（()）。|\ | |* 符合以下任一条件的名称即被判定为非法名称，不执行实际的导入导出操作：|\ | | * 名称中含有 `./` *。* |\ | | * 名称含有 `../`。|\ | | * 名称含有连续多个 `/`。|\ | | * 名称以单个 `/` 结尾。|\ | | * 文件夹名称过 255 个字符|\ | | * 文件名超过 213 个字符|\ | | * 名称只有 `.`，例如 `a/b/c/...`。|\ | |* 不支持超长路径，路径长度范围为 1 ~ 1023 字符。 | |数据流动 |* 仅支持预热对象存储 TOS 中的**标准文件**或者**低频文件**。|\ | |* 仅支持将文件存储中的数据沉降为对象存储 TOS 中的**标准文件**。|\ | |* 不支持沉降目录至 TOS 存储桶。|\ | |* 不支持沉降文件属性至 TOS 存储桶。|\ | |* 在稀疏数据沉降时，**0** 值会在填充后再沉降至 TOS 存储桶。|\ | |* 不支持 TOS 中的软链接预热到文件系统。|\ | |* 不支持将文件系统中的 socket、FIFO、块设备沉降到 TOS。|\ | |* 不支持大于 48.8TiB 的文件沉降至 TOS。（TOS 分片上传最大支持上传 48.8TiB 文件）|\ | |* 支持的对象存储 TOS 事件通知类型如下。更多信息，请参见[事件通知概述](https://www.volcengine.com/docs/6349/128981)。|\ | | * tos:ObjectCreated:Put|\ | | * tos:ObjectCreated:Post|\ | | * tos:ObjectCreated:Origin|\ | | * tos:ObjectCreated:Fetch|\ | | * tos:ObjectCreated:Copy|\ | | * tos:ObjectCreated:CompleteUpload|\ | | * tos:ObjectReplication:ObjectCreated|\ | | * tos:ObjectReplication:ObjectModified|\ | | * tos:ObjectRemoved:Delete|\ | | * tos:ObjectRemoved:DeleteMarkerCreated|\ | | * tos:LifecycleExpiration:Delete|\ | | * tos:LifecycleExpiration:DeleteMarkerCreated | ## 注意事项 * 数据流动需要开启 vePFS 服务对 TOS 服务的访问授权，删除授权后数据流动将无法工作。 * 若调整数据流动带宽为 0，即关闭数据流动带宽，则所有正在运行中的数据流动策略和任务均会被停止，策略和任务不会被删除。在重新配置带宽并启用策略后，将重新执行数据流动任务，原数据会被覆盖。 * 在创建任务时，请确认手动输入目录路径的准确性，若目录不存在则会直接创建该目录。 * 数据流动依赖文件 xattr 功能以及 TOS 自定义元数据能力，请慎重清理文件 inode 相关 xattr 以及 TOS Header，否则会导致数据流动行为未定义。 ## 数据流动任务类型 * 按数据流动任务对数据的操作，可分为预热任务、沉降任务、删除任务和对账任务。 |任务类型 |说明 | |---|---| |预热 |导入 TOS 存储桶中指定前缀下的数据至 vePFS 文件系统 Fileset（子目录）或目录。 | |沉降 |导出 vePFS 文件系统指定 Fileset（子目录）或目录下的数据至 TOS 存储桶中指定前缀。 | |删除 |删除 vePFS 文件系统内或与对象存储关联的文件。 | |对账 |对账任务只针对vePFS与对象存储侧设定目录内的文件进行对账，不执行任何文件的导入导出动作。 | * 按数据流动任务的发起者，可分为手动任务和系统任务。 |任务类型 |说明 | |---|---| |手动任务 |通过控制台或 OpenAPI 创建的任务。 | |系统任务|通过数据流动策略生成的任务。在数据流动策略中配置**数据更新自动预热**或**数据更新自动沉降**后，当 TOS 端或 vePFS 文件系统端数据发生更新时，vePFS 自动发起导入或导出任务。 |\ |（即将支持） | | ## 计费说明 * 在配置数据流动带宽后，会根据配置带宽进行收费。计费项的价格详情，请参见 [vePFS 价格详情](https://www.volcengine.com/pricing?product=vePFS&tab=1)。 * 数据流入到对象存储后，TOS 侧会对写入的数据产生存储容量费用。具体计费说明，请参见[存储容量费用](https://www.volcengine.com/docs/6349/79460)。 * 开启日志分析功能后，日志服务将根据实际写入数据量等进行收费。具体计费说明，请参见[计费概述](https://www.volcengine.com/docs/6470/105179)。 ## 使用流程 1. [创建 vePFS 文件系统](https://www.volcengine.com/docs/6645/101615) 2. [创建 Fileset](https://www.volcengine.com/docs/6645/143696#.5Yib5bu6LWZpbGVzZXQ=) 3. [配置数据流动带宽](https://www.volcengine.com/docs/6645/1536433) 4. [创建手动任务](https://www.volcengine.com/docs/6645/1536434) 5. [管理手动任务](https://www.volcengine.com/docs/6645/1399603)

文件存储 vePFS