BigQuery按分区导出表至GCS时语法错误求助

错误原因分析 #

你遇到的语法错误及核心问题如下：

• EXPORT DATA语句末尾未添加分号，违反BigQuery脚本语法规则
• 循环变量引用方式错误：loop_variable_name是行类型对象，不能直接用WHERE export_id = loop_variable_name，需指定字段名loop_variable_name.export_id
• 静态URI无法区分不同分区的导出文件，会导致文件覆盖或混乱，无法实现每个分区对应单个文件的需求

修正后的脚本 #

使用动态SQL生成每个分区的导出语句，同时修正语法问题：

DECLARE loop_variable_name STRUCT<export_id INT64>; -- 明确变量类型，与查询字段匹配

FOR loop_variable_name IN (SELECT DISTINCT export_id FROM `project.dataset.my_table`)
DO
  EXECUTE IMMEDIATE """
    EXPORT DATA OPTIONS(
      uri='gs://my_gcp_bucket/my_folder/partition_' || @export_id || '/*.parquet',
      format='PARQUET',
      overwrite=true,
      use_avro_logical_types=true -- 可选，根据需求开启
    ) AS
    SELECT * EXCEPT(export_id)
    FROM `project.dataset.my_table`
    WHERE export_id = @export_id
  """
  USING loop_variable_name.export_id AS export_id;
END FOR;

关键调整说明 #

• 用DISTINCT避免重复处理同一export_id的分区
• 通过EXECUTE IMMEDIATE动态构建URI，确保每个分区导出到独立子路径，避免文件覆盖
• 用USING子句传递循环变量，解决静态语句无法引用循环变量的问题
• 若要保证每个分区生成单个文件，需确保每个export_id对应的分区数据量确实小于1GB（你已预先分区为128份，该条件应已满足）

内容的提问来源于stack exchange，提问作者mtnt