BigQuery ELT：JSON行导入联邦表单列JSON字符串的更优方案咨询

可行的生产级实现方案如下，完全不需要依赖特殊分隔符的取巧逻辑： #

方案1：原生TEXT格式外部表（适用需要存储JSON格式字符串的需求）

BigQuery原生支持TEXT格式的外部表，该格式默认将每一行内容作为单独的STRING类型值返回，不会做任何字段拆分逻辑，完全不存在分隔符冲突的问题。
创建示例DDL如下：

CREATE EXTERNAL TABLE `你的项目ID.你的数据集名.外部表名`
(
  raw_json STRING COMMENT '单行原始JSON字符串'
)
OPTIONS(
  format = 'TEXT',
  uris = ['gs://你的存储桶路径/*.jsonl'],
  -- 若源文件首行是表头需要忽略，可打开以下配置
  -- skip_leading_rows = 1
);

创建完成后直接查询即可拿到每一行完整的JSON字符串，后续可按需用PARSE_JSON函数做结构化解析。

方案2：原生JSON类型外部表（适用需要直接查询JSON内部字段的需求）

如果你不需要保留原始字符串格式，后续直接对JSON结构做查询，可直接创建单列JSON类型的换行分隔JSON格式外部表，读取后直接为JSON类型，不需要额外做格式转换：

CREATE EXTERNAL TABLE `你的项目ID.你的数据集名.外部表名`
(
  raw_json JSON COMMENT '单行JSON结构化数据'
)
OPTIONS(
  format = 'NEWLINE_DELIMITED_JSON',
  uris = ['gs://你的存储桶路径/*.jsonl']
);

该方案的优势是查询JSON内部字段时性能更高，不需要每次查询都做字符串转JSON的解析操作。

生产使用注意事项 #

• 两种方案均仅支持单行存储的JSON文件，如果你的JSON为跨行格式，需要先预处理为单行JSON再导入
• TEXT格式默认支持最大单行长度为100MB，可覆盖绝大多数业务场景，超大单行场景可申请调整配额
• 上线前可执行校验查询确认数据读取正确性：

  -- 校验是否存在空行读取异常
  SELECT COUNT(*) AS null_row_count FROM `你的表名` WHERE raw_json IS NULL;
  -- 校验源文件中是否存在非法JSON格式
  SELECT 
    SAFE.PARSE_JSON(raw_json) IS NULL AS is_invalid_json,
    COUNT(*) AS row_count
  FROM `你的表名`
  GROUP BY 1;
  

内容的提问来源于stack exchange，提问作者conradlee