You need to enable JavaScript to run this app.
导航

数据一致性校验

最近更新时间2024.01.04 15:43:19

首次发布时间2023.09.27 17:24:21

DMS 通过对对象进行数据校验来保证数据一致性。本文介绍 DMS 的数据校验方式,以及如何查看校验结果。

数据校验方式

DMS 支持 CRC64 校验和抽样校验。不同的场景,使用的数据校验方式不同,具体说明如下:

场景

使用的校验方式

开启方式

说明

获取源端数据时,源端返回 CRC64 值。

CRC64 校验

无需在 TOS 进行任何配置,默认会进行 CRC64 校验。

将对象上传到 TOS 后,TOS 会对上传的对象进行 CRC64 计算,生成一个 CRC64 值,并将该值返回给 DMS。DMS 会对源端返回的 CRC64 值和 TOS 返回的 CRC64 值进行校验,确保源端和目的端数据的一致性。

获取源端数据时,源端不返回 CRC64 值,且 DMS 未开启抽样校验。

CRC64 校验

无需在 TOS 进行任何配置,默认会进行 CRC64 校验。

DMS 获取到对象后,会对对象进行 CRC64 计算,生成一个 CRC64 值。将对象上传到 TOS 后,TOS 也会为该对象生成一个 CRC64 值,并将该值返回给 DMS。DMS 会对 DMS 生成的 CRC64 值和 TOS 返回的 CRC64 值进行校验,确保 DMS 获取到的数据和目的端数据的一致性。

源端不返回 CRC64 值,但已在 DMS 开启抽样校验功能。

抽样校验

说明

如果源端返回 CRC64 值,同时 DMS 开启抽样校验功能,则 DMS 会优先使用 CRC64 校验。

您需要在创建迁移任务时开启抽样校验,具体操作,请参见创建迁移任务-使用公共网络

DMS 会从源端获取每个对象的 100 个字节,从目标端获取对应每个对象的 100 个字节,然后进行校验,确保源端和目标端的数据一致性。

数据校验结果

不同的校验方式,对应的校验结果说明如下:

  • CRC64 校验
    如果 CRC64 校验失败,则会在迁移列表的 state 显示 failedmessage 显示 crc_verify_failed ,如果 CRC64 校验成功,则 state 显示 success
  • 抽样校验
    如果抽样校验失败,则会在迁移列表的 state 显示 failedmessage 显示 range check failed,如果抽样校验成功,则 state 显示 success

关于迁移列表的详细介绍,请参见查看迁移列表