如何将表中数据按每1万项为一组生成数组并循环处理

错误根因 #

• 第一次报错：ROW_NUMBER() OVER() 是窗口分析函数，必须依附于带FROM子句的查询数据源才能运行，你直接在SET赋值语句中单独调用该函数，缺少数据上下文触发报错。
• 第二次报错：你用来给单值变量i赋值的子查询同时返回了item、行号两个列的结果，标量变量只能接收单个值的返回结果，类型不匹配导致报错。

另外你的原有逻辑即使修复语法问题也无法实现需求：每次生成数组都是取全表前10万条数据，没有做分批切片，也没法保证组内记录唯一。

正确实现代码（BigQuery 标准SQL脚本） #

DECLARE group_size INT64 DEFAULT 10000;
-- 统计去重后的总记录数，源表无重复可去掉DISTINCT
DECLARE total_count INT64 DEFAULT (SELECT COUNT(DISTINCT item) FROM `project.dataset.table`);
DECLARE current_offset INT64 DEFAULT 0;

WHILE current_offset < total_count DO
  -- 生成分批数组，无重复
  SELECT ARRAY(
    SELECT item
    FROM (
      SELECT DISTINCT item
      FROM `project.dataset.table`
      -- 可自定义排序规则，保证分批顺序稳定，不需要可删除
      ORDER BY item
    )
    LIMIT group_size OFFSET current_offset
  ) AS current_group_items;

  -- 此处添加你对当前数组的处理逻辑

  SET current_offset = current_offset + group_size;
END WHILE;

逻辑说明 #

• 用LIMIT + OFFSET分页的方式实现每1万条为一组切片，天然保证各组数据无重复
• 内层DISTINCT全局去重，保证所有记录不会重复出现在不同数组中，源表item字段本身唯一可删除该关键词提升性能
• 可自定义排序规则适配业务分批顺序要求，无要求可删除ORDER BY子句

内容的提问来源于stack exchange，提问作者Eli Sigal