Go语言计算数据CID与Filecoin/Lotus节点结果不一致的解决方法

问题根源 #

你的代码存在两个关键错误：

1. 重复哈希：先对原始数据计算多哈希，再将该哈希结果传入CID Builder的Sum方法，导致对哈希值二次哈希，而非直接基于原始数据生成CID。
2. Codec不匹配：使用了cid.DagProtobuf编码格式（用于IPFS PB节点/目录元数据），而Filecoin/Lotus处理小文件时默认使用cid.Raw编码（直接对原始数据哈希）。

正确实现（Raw Codec，匹配小文件场景） #

以下代码直接基于原始数据生成与Filecoin/Lotus一致的CID：

import (
    "fmt"

    "github.com/ipfs/go-cid"
    mh "github.com/multiformats/go-multihash"
)

// ComputeFilecoinCID 计算与Filecoin/Lotus一致的CID
func ComputeFilecoinCID(data []byte) (string, error) {
    // 对原始数据计算SHA2-256多哈希
    hash, err := mh.Sum(data, mh.SHA2_256, -1)
    if err != nil {
        return "", err
    }

    // 使用CIDv1 + Raw编码构建最终CID
    c, err := cid.NewCidV1(cid.Raw, hash)
    if err != nil {
        return "", err
    }

    return c.String(), nil
}

// 调用示例
func main() {
    data := []byte("Hello")
    cidStr, err := ComputeFilecoinCID(data)
    if err != nil {
        panic(err)
    }
    fmt.Println("Filecoin CID:", cidStr) // 输出: bafkreiayl6g3gitr7ys7kyng7sjywlrgimdoymco3jiyab6rozecmoazne
}

大文件场景（UnixFS包装） #

如果处理大文件（需要分片存储），需用UnixFS包装数据，此时生成的CID对应分片DAG的根节点。小文件开启RawLeaves后，结果与Raw Codec方式一致：

import (
    "bytes"
    "fmt"

    "github.com/ipfs/go-cid"
    "github.com/ipfs/go-unixfs/importer/balanced"
    "github.com/ipfs/go-unixfs/importer/helpers"
    blockstore "github.com/ipfs/go-ipfs-blockstore"
    mh "github.com/multiformats/go-multihash"
)

// ComputeUnixFSFilecoinCID 基于UnixFS生成Filecoin兼容CID
func ComputeUnixFSFilecoinCID(data []byte) (string, error) {
    // 创建临时块存储
    bs := blockstore.NewBlockstore(nil)
    // 初始化DAG构建器，开启Raw叶子节点优化
    dagHelper, err := helpers.NewDagBuilderHelper(bs, helpers.DagBuilderParams{
        MaxLinks:  1024,
        RawLeaves: true,
        MhType:    mh.SHA2_256,
        MhLength:  -1,
    })
    if err != nil {
        return "", err
    }

    // 构建UnixFS DAG
    reader := bytes.NewReader(data)
    rootNode, err := balanced.Layout(dagHelper, reader)
    if err != nil {
        return "", err
    }

    return rootNode.Cid().String(), nil
}

// 调用示例
func main() {
    data := []byte("Hello")
    cidStr, err := ComputeUnixFSFilecoinCID(data)
    if err != nil {
        panic(err)
    }
    fmt.Println("UnixFS Filecoin CID:", cidStr) // 输出与Raw方式一致
}

内容的提问来源于stack exchange，提问作者lajosdeme