如何增大BigQuery调用remote function时的批处理行数？

BigQuery确实没有提供直接配置最小批处理行数的参数，但可以通过以下几种方式实现多行批量调用自研API：

• 手动分组打包行数据（最可靠方案）
  绕过BigQuery自动单行处理的逻辑，在查询中先将多行数据聚合为数组，再传递给远程函数，处理完成后再展开结果。示例SQL如下：

  WITH batched_data AS (
    -- 按每100行一组聚合，可根据API请求大小调整分组数量
    SELECT ARRAY_AGG(STRUCT(col1, col2)) AS batch
    FROM your_table
    GROUP BY FLOOR((ROW_NUMBER() OVER (ORDER BY col1)) / 100)
  )
  -- 调用远程函数处理批量数据，再展开结果
  SELECT UNNEST(your_remote_function(batch)) AS processed_result
  FROM batched_data
  

  这种方式完全由你控制批大小，只要不超过10MB的请求限制即可。

• 合理配置max_batching_rows参数
  虽然该参数是设置请求的最大行数上限，但如果不明确配置，BigQuery可能会使用较小的默认值。将其设置为符合你API承载能力的最大值（比如1000或更高，需结合单条数据大小计算总请求体积），BigQuery在资源允许、数据分布合适的情况下，会尽量向这个上限靠拢打包行数据。

• 优化远程函数的性能特征
  BigQuery的自动批处理逻辑会根据远程函数的响应延迟、吞吐量动态调整批大小。如果你的API响应过快，BigQuery可能认为单行处理的效率已经足够，不会主动攒行。可以适当优化函数的资源配置（比如增加CPU/内存），确保函数能高效处理批量请求，间接促使BigQuery进行多行批处理。

需要注意的是，BigQuery的自动批处理是基于内部优化策略，没有强制最小行数的开关，因此手动分组是最可控的解决方案。

内容的提问来源于stack exchange，提问作者TravisChambers