如何用SQL导出BigQuery表为Parquet并保留列非空模式

使用BigQuery的EXPORT DATA SQL语句将表导出为Parquet格式到GCS时，原表的非空列（如示例中的z BOOL NOT NULL）会被转为可空列，导致Parquet文件中的schema丢失非空约束，且加载时无法覆盖该schema。由于数据量限制无法使用API，只能通过SQL方式导出，需解决如何保留正确列模式的问题。

示例创建表语句：

CREATE OR REPLACE TABLE sandbox.newtable (x INT64, y STRING, z BOOL NOT NULL, d DATE)
PARTITION BY d
OPTIONS(description = 'My example table')
AS SELECT 1, 's', false, current_date();

示例导出语句：

EXPORT DATA  
OPTIONS ( 
  uri = 'gs://path/*.parquet', 
  format = 'PARQUET', 
  compression = 'SNAPPY') 
AS (
  SELECT x,y,z,d FROM sandbox.newtable  
);

方法一：通过临时表显式保留列约束 #

先创建带有明确非空约束的临时表，再导出该临时表。临时表的结构会被EXPORT DATA识别并映射到Parquet的schema中：

-- 创建带非空约束的临时表
CREATE OR REPLACE TEMP TABLE temp_export (x INT64, y STRING, z BOOL NOT NULL, d DATE) AS
SELECT x, y, z, d FROM sandbox.newtable;

-- 导出临时表到GCS
EXPORT DATA  
OPTIONS ( 
  uri = 'gs://path/*.parquet', 
  format = 'PARQUET', 
  compression = 'SNAPPY') 
AS SELECT * FROM temp_export;

方法二：使用ASSERT_NOT_NULL标记非空列 #

在导出的SELECT语句中，对非空列使用ASSERT_NOT_NULL函数，该函数会强制将列标记为非nullable类型，让EXPORT DATA生成对应Parquet schema时保留非空约束：

EXPORT DATA  
OPTIONS ( 
  uri = 'gs://path/*.parquet', 
  format = 'PARQUET', 
  compression = 'SNAPPY') 
AS (
  SELECT 
    x, 
    y, 
    ASSERT_NOT_NULL(z) AS z, 
    d 
  FROM sandbox.newtable  
);

BigQuery的EXPORT DATA是基于查询结果的元数据生成Parquet schema的。直接SELECT原表的非空列时，查询结果的列默认会被标记为nullable（因为BigQuery认为查询操作可能产生null值）。通过显式定义临时表结构或使用ASSERT_NOT_NULL，可以让查询结果的列带上non-nullable的元数据，从而使导出的Parquet文件保留原表的非空约束。

内容的提问来源于stack exchange，提问作者AlienDeg