Dataform运行BigQuery增量更新时JOIN内存溢出如何解决

多次LEFT OUTER JOIN UNNEST的写法会对每一行原数据的嵌套数组产生笛卡尔积：假设单条数据的itemProperties数组长度为N，你做了M次JOIN UNNEST，单条数据会被展开为N^M条，数据量指数级膨胀，直接占满JOIN操作的内存配额。Dataform默认执行任务的配额通常比你手动在BigQuery控制台跑查询的配额更低，所以会出现控制台运行正常、Dataform执行报错的情况。

两种方案都可以完全替代多次JOIN UNNEST，内存占用最多降低90%以上：

• 方案1：单行子查询直接取值（适合提取的属性数量较少的场景）
  不需要做JOIN，直接对每一行的嵌套数组做子查询取对应属性值，不会产生额外的行膨胀，写法最简单：

SELECT
  -- 原表其他字段
  SAFE_CAST((SELECT value FROM UNNEST(itemProperties) WHERE key = '你要取的属性key1' LIMIT 1) AS 目标类型) AS 字段名1,
  SAFE_CAST((SELECT value FROM UNNEST(itemProperties) WHERE key = '你要取的属性key2' LIMIT 1) AS 目标类型) AS 字段名2
FROM 你的原表

• 方案2：单次UNNEST + 聚合转列（适合提取的属性数量较多的场景）
  整个过程仅做1次UNNEST，再通过条件聚合把行转成列，只会产生和itemProperties数组长度相同的行，没有笛卡尔积：

SELECT
  t.*,
  -- 对提取的属性做类型转换
  SAFE_CAST(p.attr1 AS 目标类型) AS attr1,
  SAFE_CAST(p.attr2 AS 目标类型) AS attr2,
  SAFE_CAST(p.attr3 AS 目标类型) AS attr3
FROM 你的原表 t
LEFT JOIN (
  SELECT
    原表唯一主键,
    -- 这里写你需要提取的所有属性key
    MAX(IF(key = 'attr1', value, NULL)) AS attr1,
    MAX(IF(key = 'attr2', value, NULL)) AS attr2,
    MAX(IF(key = 'attr3', value, NULL)) AS attr3
  FROM 你的原表,
  UNNEST(itemProperties)
  -- 增量场景可以先加过滤条件减少处理数据量
  WHERE 分区时间字段 = 你要处理的增量时间范围
  GROUP BY 原表唯一主键
) p USING(原表唯一主键)

• 严格限制增量处理的数据范围，在查询中明确写入时间过滤条件，仅扫描当日新增数据，不要全表扫描。
• 给对应Dataform模型配置更高的BigQuery资源，你可以在模型的config块中指定预留槽池，或者调高任务超时时间，避免按需查询的配额限制。
• 如果数据量特别大，可以把嵌套字段提取和增量更新拆成两个独立的模型分步执行，降低单查询的内存压力。

内容的提问来源于stack exchange，提问作者Serge de Gosson de Varennes