如何在Google BigQuery表中用正则表达式过滤单词？SQL查询报错求助

一、先排查SQL报错核心原因 #

• 确认正则表达式是否符合BigQuery采用的RE2语法（BigQuery不支持反向预查等部分正则语法，需用RE2兼容写法）
• 检查INSERT语句中正则函数的嵌套逻辑，比如是否未正确嵌入SELECT子句，或者处理后的数据类型与目标列类型不匹配

二、针对冗余文本的具体正则处理示例 #

根据manufacturing_output列的冗余文本格式，选择对应处理方式：

1. 提取固定分隔符前的核心类别 #

如果冗余内容通过固定分隔符（如-、:）与核心类别分隔，用REGEXP_EXTRACT直接提取：

INSERT INTO your_dataset.your_table (manufacturing_output, other_columns)
SELECT
  REGEXP_EXTRACT(raw_output, r'^[^-]+') AS cleaned_output,
  other_columns
FROM (
  -- 替换为你的源数据，比如临时表或VALUES子句
  SELECT "汽车制造 - 包含零部件生产、组装等全流程" AS raw_output, "其他字段值1" AS other_columns
  UNION ALL
  SELECT "电子设备制造 - 涵盖芯片研发到成品组装" AS raw_output, "其他字段值2" AS other_columns
)

2. 移除指定冗余词汇 #

如果冗余是固定句式（如"包含..."、"涵盖..."），用REGEXP_REPLACE清空冗余内容：

INSERT INTO your_dataset.your_table (manufacturing_output, other_columns)
SELECT
  REGEXP_REPLACE(raw_output, r' - 包含.*$| - 涵盖.*$', '') AS cleaned_output,
  other_columns
FROM your_source_data_table

3. 处理无固定规律的冗余文本 #

如果冗余文本无固定模式，仅保留核心类别关键词（比如提取XX制造类短语）：

INSERT INTO your_dataset.your_table (manufacturing_output)
SELECT
  REGEXP_EXTRACT(raw_output, r'([\u4e00-\u9fa5]+制造)') AS cleaned_output
FROM (
  SELECT "汽车制造的全流程包括零部件生产和组装" AS raw_output
)

三、常见报错的快速修复 #

• 正则语法错误：替换RE2不支持的语法（如去掉(?<=)反向预查，改用正向匹配逻辑）
• 数据类型不匹配：确保处理后结果与目标列类型一致（比如目标列是STRING，处理后不能返回非字符串类型）
• NULL值异常：用IFNULL处理源数据中的NULL，避免正则函数报错：

IFNULL(REGEXP_EXTRACT(raw_output, r'^[^-]+'), raw_output) AS cleaned_output

内容的提问来源于stack exchange，提问作者s nandan