如何在BigQuery导出CSV时添加文本限定符与转义字符

方法1：手动构造带限定符的字段（最直接） #

BigQuery的EXPORT DATA虽不支持直接配置文本限定符，但可以在SELECT语句里手动给每个字段添加双引号包裹，并处理字段内的双引号（CSV标准要求用两个双引号转义）。

示例代码 #

EXPORT DATA
  OPTIONS (
    uri = 'gs://Filepath/Filename*.csv',
    format = 'CSV',
    OVERWRITE = TRUE,
    header = TRUE,
    field_delimiter = ','
  ) 
AS (
  SELECT
    -- 数值类型先转字符串再包裹双引号
    CONCAT('"', CAST(id AS STRING), '"') AS id,
    -- 字符串类型替换内部双引号为两个，再包裹
    CONCAT('"', REPLACE(username, '"', '""'), '"') AS username,
    CONCAT('"', REPLACE(description, '"', '""'), '"') AS description,
    -- 日期/时间类型同样转字符串处理
    CONCAT('"', CAST(created_at AS STRING), '"') AS created_at
  FROM `tablename`
  ORDER BY id LIMIT 10
);

说明 #

• 导出后每个字段都会被双引号包裹，符合标准CSV格式
• 字段内的双引号会被转义为两个双引号，避免解析错误
• 非字符串类型（数值、日期等）需要先通过CAST转为字符串再处理

方法2：使用Dataflow作业（适合大数据量） #

如果数据量较大或需要长期稳定的导出管道，可以用Google Dataflow的BigQuery转GCS模板，该模板支持配置文本限定符和转义字符：

• 选择现成的BigQuery to Cloud Storage模板
• 在配置参数中，设置CSV Text Qualifier为"，CSV Escape Character为"（CSV标准中用双引号转义自身）
• 配置好BigQuery表源和GCS目标路径后启动作业即可

这种方式不需要写SQL处理字段，Dataflow会自动处理格式转换，适合大规模数据导出。

方法3：JSON中转后转换（适合复杂需求） #

如果需要更灵活的格式控制，可以先将数据导出为JSON格式，再通过Cloud Function或Cloud Run脚本转换为标准CSV：

1. 用EXPORT DATA导出JSON到GCS：

EXPORT DATA
  OPTIONS (
    uri = 'gs://Filepath/Filename*.json',
    format = 'JSON',
    OVERWRITE = TRUE
  ) 
AS (
  SELECT * FROM `tablename` ORDER BY id LIMIT 10
);

2. 编写简单的Python/Node.js脚本，读取GCS上的JSON文件，转换为带文本限定符的CSV，再写回GCS。比如用Python的csv模块，设置quoting=csv.QUOTE_ALL来自动添加双引号并处理转义。

内容的提问来源于stack exchange，提问作者jeegnesh