GridDB出现CP_CHECKPOINT_FILE_READ_FAILED ERROR 30004的排查求助

报错信息 #

30004 CP_CHECKPOINT_FILE_READ_FAILED ERROR
Execution of backup or cluster data synchronization failed. A failure may have occurred in the storage at the data file storage location.
Check whether a physical failure has occurred in storing the database file storage location. For all other cases, check with support as an internal error may have occurred.

环境配置 #

• 操作系统：Ubuntu 20.04
• Python版本：3.8
• GridDB版本：4.5
• 集群规模：5节点
• 数据存储路径：/var/lib/griddb/data
• 备份存储路径：/backup/griddb/data

备份代码（Python） #

from griddb_python import StoreFactory, GSException
import shutil

def perform_backup():
    try:
        # Connect to GridDB cluster
        factory = StoreFactory.get_default()
        gridstore = factory.get_store({
            "host": "239.0.0.1",
            "port": 41999,
            "cluster_name": "defaultCluster",
            "username": "admin",
            "password": "admin"
        })

        # Retrieve container
        container = gridstore.get_container("containerName")
        if container is None:
            raise Exception("Container not found")

        # Attempt data backup by copying files from the storage directory
        storage_path = "/var/lib/griddb/data"
        backup_path = "/backup/griddb/data"
        shutil.copytree(storage_path, backup_path)
        print("Data backup completed successfully")

    except GSException as e:
        print(f"Backup or synchronization failed: {e.what()}")
        raise

if __name__ == "__main__":
    perform_backup()

需要解决的问题 #

1. 如何判断数据文件存储位置是否存在物理存储故障；
2. 备份或同步时出现该错误的其他可能原因；
3. GridDB中管理备份存储位置及确保数据完整性的最佳实践。

1. 验证物理存储故障的方法 #

• 检查系统日志：查看/var/log/syslog或/var/log/dmesg，搜索IO error、disk failure、bad sector等关键词，确认是否有存储设备硬件报错。
• 磁盘健康检测：使用smartctl工具检查磁盘状态，执行命令sudo smartctl -a /dev/[你的磁盘设备名]，重点关注SMART overall-health self-assessment test result是否为PASSED，以及Reallocated_Sector_Ct、Current_Pending_Sector等指标是否异常。
• 文件系统检查：先停止GridDB服务，卸载目标分区（如果允许），执行sudo fsck /dev/[分区设备名]检查文件系统是否损坏。
• 读写一致性测试：在存储路径下执行dd if=/dev/zero of=/var/lib/griddb/data/test_file bs=1G count=1写入测试文件，再用md5sum校验读取后的文件，看是否存在读写失败或校验不通过的情况。

2. 错误的其他可能原因 #

• 文件权限问题：GridDB运行用户（默认griddb）对/var/lib/griddb/data目录或checkpoint文件无读权限。执行ls -l /var/lib/griddb/data确认文件所有者和权限，确保griddb用户拥有读写权限。
• Checkpoint文件损坏：异常关机、集群崩溃可能导致cp_*开头的checkpoint文件损坏。可先备份旧checkpoint文件，删除后重启GridDB节点，让系统重新生成checkpoint。
• 备份方式错误：直接用shutil.copytree复制存储目录属于冷备份，必须先停止GridDB服务，否则会复制正在写入的文件，导致文件损坏触发读取失败。
• 节点间网络问题：集群同步时节点间网络不稳定，可能导致checkpoint文件传输不完整。用ping、iperf测试节点间连通性和带宽，排查丢包或延迟过高问题。
• 磁盘空间不足：存储或备份路径磁盘已满，导致checkpoint文件无法读写。执行df -h查看磁盘使用情况，确保有足够剩余空间。

3. GridDB备份管理与数据完整性最佳实践 #

• 使用官方备份工具/API：避免直接复制文件，改用GridDB提供的gs_backup命令行工具或Python SDK的gridstore.backup()方法，确保备份过程的数据一致性。
• 定期备份+验证：通过cron设置定时备份任务，每次备份后将备份文件恢复到测试集群，验证数据完整性和可用性。
• 分离存储与备份路径：备份路径使用独立存储设备，避免与数据存储在同一磁盘，防止磁盘故障导致数据和备份同时丢失。
• 权限管控：确保GridDB运行用户对存储、备份路径拥有合适权限，同时限制备份路径的访问权限，防止未授权访问。
• 监控存储状态：用Prometheus+Grafana等工具监控磁盘使用率、IO性能、SMART状态，提前发现存储异常。
• 集群同步规范：同步前确认所有节点状态正常，无离线或故障节点；同步过程中避免大规模写入操作，降低数据不一致风险。

内容的提问来源于stack exchange，提问作者omar esawy