Firebase导出至Cloud Storage后BigQuery建表失败，实体类型异常且文件加密

针对你遇到的Failed to create table: Entity "89jHDLF6AkEpTWo3TGx0" was of unexpected kind "book"报错，以及加密文件的处理需求，给出以下可行方案：

核心原因 #

Firebase导出到GCS的数据采用Datastore备份格式，而非普通JSON/CSV。BigQuery自动检测Schema时无法正确识别实体类型字段，导致类型匹配错误；另外google-manager加密的文件无需手动解密，BigQuery有权限即可直接读取。

解决方案1：手动指定Schema并选择正确格式 #

1. 在BigQuery UI中创建表时，不要选择自动检测Schema，而是手动定义符合Firebase导出结构的Schema。示例Schema参考（根据你的实际数据调整）：

CREATE TABLE `your-project.your-dataset.your-table` (
  __name__ STRING,
  __kind__ STRING,
  __create_time__ TIMESTAMP,
  __update_time__ TIMESTAMP,
  fields STRUCT<
    -- 这里替换成你Firebase数据的实际字段
    title STRING,
    price FLOAT64,
    is_available BOOLEAN
  >
)
OPTIONS(
  format = 'DATASTORE_BACKUP'
);

2. 执行创建后，通过GCS路径加载数据，确保选择的文件格式为Datastore Backup（而非自动检测）。

解决方案2：使用LOAD DATA命令强制指定格式 #

如果UI操作仍有问题，直接用BigQuery SQL命令加载数据，明确指定格式和Schema：

LOAD DATA OVERWRITE `your-project.your-dataset.your-table`
FROM FILES(
  format = 'DATASTORE_BACKUP',
  uris = ['gs://your-bucket/path/to/export-files/*']
)
WITH SCHEMA (
  __name__ STRING,
  __kind__ STRING,
  __create_time__ TIMESTAMP,
  __update_time__ TIMESTAMP,
  fields STRUCT<
    title STRING,
    price FLOAT64
  >
);

解决方案3：权限与加密密钥配置 #

确保BigQuery服务账号具备以下权限：

• GCS存储桶的storage.objects.get和storage.objects.list权限
• 如果使用客户管理的Cloud KMS密钥，需给BigQuery服务账号添加cloudkms.cryptoKeyReader权限（密钥所在KMS资源的权限）

额外提示 #

无需手动下载解密GCS文件，BigQuery在有权限的情况下会自动处理google-manager加密的对象，直接通过GCS路径加载即可。

内容的提问来源于stack exchange，提问作者Adem yalçın