使用BigQueryUpsertTableOperator后查询表出现引号缺失错误

一、确认allowQuotedNewlines参数是否生效 #

1. 检查Operator配置格式
   确保allowQuotedNewlines是放在external_table_definition的formatOptions字典内，且拼写正确（驼峰式，注意大小写）。示例配置如下：

   external_table_definition={
       "sourceUris": ["gs://ingestion-bucket/data/blahblah-*.csv"],
       "sourceFormat": "CSV",
       "skipLeadingRows": 1,
       "formatOptions": {
           "allowQuotedNewlines": True,
           "quote": '"',  # 明确指定双引号为字段包裹符
           "allowJaggedRows": True,
           "ignoreUnknownValues": True
       },
       "schema": {
           # 填写你的表结构定义
       }
   }
   

2. 验证表配置是否生效

   • 登录BigQuery控制台，找到该外部表，查看外部数据配置→CSV选项，确认“允许引号内的换行”已开启。
   • 用bq命令行工具查看表的详细配置：

     bq show --format=prettyjson irm-eap-edp-ingestion-nonprod.route4me.routes_external
     

     在输出中定位到externalDataConfiguration.formatOptions，检查是否存在"allowQuotedNewlines": true。如果没有，说明参数未正确传递，需修正Operator的配置逻辑。

二、处理文件中的引号问题 #

1. 明确引号字符
   如果你的CSV字段仅用双引号包裹，在formatOptions中显式设置"quote": '"'，这样数据中的单引号（如'23）会被视为普通字符，不会触发“未闭合引号”的错误。

2. 修复文件中的未闭合引号

   • 扫描文件定位问题行：

     gsutil cat gs://ingestion-bucket/data/blahblah-2023-06-28.csv | grep -n '"[^"]*$'
     

     该命令会输出所有以未闭合双引号结尾的行号，手动或脚本修复这些行的引号问题。
   • 若无法修改源文件，可在加载前通过Cloud Dataflow或Cloud Function预处理CSV，转义未闭合的引号或移除无效字符。

3. 调整解析容错参数
   添加以下参数增强解析容错性：

   • allowJaggedRows: True 允许行的列数与Schema不完全匹配
   • ignoreUnknownValues: True 忽略Schema中未定义的列值

内容的提问来源于stack exchange，提问作者unnest_me