从Parquet创建Hive分区BigQuery表出现YAML解码报错如何解决

问题根因 #

你遇到的报错由两个常见原因共同导致：

• bq命令行工具处理--external_table_definition参数时，默认会优先尝试将传入的文件内容按YAML格式解析，只有当你显式标记是JSON格式时才会按JSON规则解析。
• 你生成的表定义文件可能存在编码问题：比如UTF-8 BOM头、空字符（也就是报错中提到的#x0000特殊字符），多出现于跨系统（Windows/macOS/Linux）传输文件、或者重定向写入时的编码异常场景。

解决方案 #

步骤1：修复表定义文件编码 #

首先确认生成的def_file_name是合法的UTF-8无BOM格式JSON，你可以用cat def_file_name命令直接查看内容，确认没有乱码、空白异常字符。如果存在编码问题，重新执行bq mkdef命令生成文件即可。

步骤2：修改建表命令显式指定JSON格式 #

在定义文件路径前添加@前缀，明确告诉bq工具该文件是JSON格式的表定义，修改后的命令如下：

bq mk --external_table_definition="@<definition/file/path>" \
  "<project_id>:<dataset>.<table_name>"

可选优化：跳过本地文件写入 #

你也可以直接将bq mkdef的输出通过管道传递给bq mk命令，完全避免本地文件编码导致的问题：

bq mkdef \
  --autodetect \
  --source_format=PARQUET \
  --hive_partitioning_mode=AUTO \
  --hive_partitioning_source_uri_prefix="gs://project-name/tablename" \
  "gs://project-name/tablename/*.parquet" | bq mk --external_table_definition=/dev/stdin "<project_id>:<dataset>.<table_name>"

内容的提问来源于stack exchange，提问作者Cam