C++多库依赖引发Protobuf冲突问题求助

使用类gRPC的C++ RPC框架（依赖Protobuf v3.21.0，Bazel编译），同时集成本地CMake编译的libhdfs3库（同样依赖Protobuf v3.21.0，动态链接本地编译的同版本Protobuf），运行时出现如下错误：

[libprotobuf ERROR external/protobuf_archive/src/google/protobuf/descriptor_database.cc:642] File already exists in database: google/protobuf/descriptor.proto
[libprotobuf FATAL external/protobuf_archive/src/google/protobuf/descriptor.cc:1986] CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size): 
terminate called after throwing an instance of 'google::protobuf::FatalException'
  what():  CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size): 

已知为Protobuf依赖冲突导致，本地Protobuf与RPC框架版本一致，但编译选项存在差异。

该错误本质是Protobuf描述符数据库重复注册了descriptor.proto。即使版本相同，若两个组件（RPC框架、libhdfs3）使用的Protobuf编译配置不一致（如动态/静态链接开关、宏定义、C++标准等），会导致生成的Protobuf符号或描述符实例不共享，触发重复注册的检查断言。

1. 统一Protobuf编译配置与链接方式 #

这是最根本的解决方案：

• 对齐编译选项：确保RPC框架（Bazel）和libhdfs3（CMake）使用完全一致的Protobuf编译参数：
  • 统一开启/关闭PROTOBUF_USE_DLLS（动态链接）、PROTOBUF_STATIC_LIB（静态链接）等宏定义
  • 保持C标准版本（如C17）、优化级别、-fPIC等编译选项一致
• 共享同一Protobuf库：
  • Bazel端：修改WORKSPACE文件，引入本地编译的Protobuf动态库，替代Bazel默认的内置版本：

    new_local_repository(
        name = "protobuf",
        path = "/path/to/your/local/protobuf-install-dir",
        build_file_content = """
        cc_library(
            name = "protobuf",
            srcs = ["lib/libprotobuf.so"],
            hdrs = glob(["include/google/protobuf/**/*.h"]),
            includes = ["include"],
            visibility = ["//visibility:public"],
        )
        """,
    )
    

    同时在BUILD文件中指定依赖@protobuf//:protobuf，而非默认的Protobuf目标。
  • CMake端：编译libhdfs3时，明确指定本地Protobuf路径，避免系统默认版本干扰：

    set(Protobuf_ROOT "/path/to/your/local/protobuf-install-dir")
    find_package(Protobuf 3.21.0 REQUIRED)
    

2. 临时绕过重复检查（仅用于紧急场景） #

若统一编译配置不可行，可通过编译宏禁用Protobuf的重复描述符检查：

• Bazel：在目标的copts中添加宏定义：

  cc_binary(
      name = "your_target",
      # ...其他配置
      copts = ["-DPROTOBUF_ALLOW_DUPLICATE_PROTOS"],
  )
  

• CMake：在libhdfs3的CMakeLists.txt中添加：

  add_definitions(-DPROTOBUF_ALLOW_DUPLICATE_PROTOS)
  

  注意：此方法会屏蔽Protobuf的合法性检查，可能隐藏其他潜在问题，仅作为临时方案。

3. 统一链接类型（静态/动态） #

禁止混合使用静态和动态链接的Protobuf：

• 若选择动态链接：确保两个组件都链接同一版本的Protobuf动态库
• 若选择静态链接：需让两个组件都静态链接同一编译配置的Protobuf静态库，且编译时添加-fPIC（若组件本身是动态库）

内容的提问来源于stack exchange，提问作者Achan Zhong