将Avro文件导入Google BigQuery时遇加载错误求助

一、Avro文件头解析错误（Cannot have bytes of negative length: -28） #

这个错误的核心原因是你导入的文件不是标准的二进制Avro文件，最大可能是下载方式有误：

• 你提到的GitHub页面展示的是Avro文件的文本化预览，直接保存页面会得到HTML或文本内容，而非真正的二进制Avro文件。
• 解决步骤：打开该文件的GitHub页面后，点击右上角的「Raw」按钮，再保存页面，这样才能获取到原始的二进制Avro文件。
• 额外验证：如果确认文件是正确的二进制Avro，可使用avro-tools工具检查文件有效性，命令如下：

  avro-tools getschema your-file.avro
  

  若工具无法解析，说明文件已损坏或格式不符合标准，需重新获取。

二、JSON转Avro后Schema被破坏 #

BigQuery对Avro Schema的映射有明确规则，出现Schema“被破坏”的情况，通常是以下原因导致：

1. 转换时Schema自动推断不严谨
   • 若你用工具自动从JSON推断Avro Schema，工具可能生成BigQuery不兼容的类型（比如未正确处理可空字段的union类型，或使用了BigQuery不支持的逻辑类型）。
   • 解决：手动编写符合BigQuery要求的Avro Schema，明确指定每个字段的类型（比如用["null", "string"]表示可空字符串），再基于该Schema将JSON转换为Avro文件。
2. 未遵循BigQuery的Avro类型映射规则
   • BigQuery会严格按照规范映射Avro类型，比如：
     • Avro的bytes类型会根据逻辑标记映射为BigQuery的BYTES或STRING；
     • 包含null的Avrounion类型会被映射为BigQuery的可空字段；
     • 复杂嵌套的record类型需结构清晰，否则可能被BigQuery扁平化或转换为数组。
   • 解决：参照BigQuery官方文档中Avro与BigQuery类型的对应规则，调整你的Avro Schema。
3. 导入时Schema配置错误
   • 若导入时选择“自动推断Schema”，BigQuery可能会基于数据样本推断类型，而非严格遵循Avro文件的原始Schema。
   • 解决：导入时手动指定Schema，或选择“使用源数据Schema”的选项（若支持），强制使用Avro文件的原始定义。

总结 #

你并没有误解BigQuery导入二进制文件的规则，问题主要出在文件获取方式和Avro Schema的定义/转换环节，按上述步骤排查即可解决。

内容的提问来源于stack exchange，提问作者swygerts