谷歌BigQuery中如何按event_type拆分大型分区事件表

问题逐一解答 #

1. 任务类型选择 #

你既不需要用copy job也不需要用load job：

• copy job是BQ内部整表/整分区复制任务，不支持按字段条件过滤数据，无法满足按event_type拆分的需求
• load job是将外部数据源（GCS、本地文件、AWS S3等）导入BQ的任务，不适用于BQ内部表之间的带筛选数据迁移
  正确选择是查询任务（Query Job），可以通过INSERT INTO ... SELECT ... 向已创建的空表插入筛选后的数据，更推荐直接用CREATE TABLE AS SELECT（CTAS）语句，建表+数据导入一步完成，效率更高。

2. 队列任务与异步执行支持 #

BQ原生支持异步任务提交，所有类型的任务（查询、copy、load、导出）提交后都会进入BQ内部的任务队列自动调度，不需要自己实现队列逻辑。
你用Python SDK提交任务时可以选择非阻塞模式，提交后仅获取job ID即可后续查询任务状态，不需要在客户端等待任务执行完成。

3. 导入任务并行处理 #

BQ会自动并行处理无依赖的独立任务，并行数量取决于你项目的并发查询配额，默认配额一般支持同时跑数十到上百个任务，你的场景仅2个event_type按天拆分最多也就730个任务，完全在BQ的并行处理能力范围内。

4. 客户端多进程必要性 #

完全不需要客户端做多进程处理：

• 提交异步任务本身只是发起轻量的API请求，单线程每秒就可以提交几十个任务，完全满足需求
• 任务的执行和调度全部在BQ服务端完成，客户端多进程不会对任务执行速度有任何提升，反而可能因为短时间请求量过高触发BQ API限流，导致提交失败
• 你只需要单线程循环提交所有异步任务，之后定时轮询任务状态处理成功/失败情况即可。

更高效的拆分方案推荐 #

不需要按天拆分任务，直接按event_type提交2个CTAS任务即可完成全量数据拆分，比按天导入效率高10倍以上：

1. 目标表和原表保持相同的分区规则，避免后续查询性能下降，示例语句如下：

-- 创建sign-up类型的分区表
CREATE TABLE `your_project.your_dataset.event_sign_up`
PARTITION BY DATE(event_time)
CLUSTER BY user_id -- 可选，按常用查询字段聚类优化后续性能
AS SELECT * FROM `your_project.your_dataset.origin_event_table` WHERE event_type = 'sign-up';

-- 创建page-view类型的分区表
CREATE TABLE `your_project.your_dataset.event_page_view`
PARTITION BY DATE(event_time)
CLUSTER BY user_id
AS SELECT * FROM `your_project.your_dataset.origin_event_table` WHERE event_type = 'page-view';

2. 如果担心全表扫描成本过高或者单任务执行超时，可以按分区批量处理，比如每次处理1个月/10天的分区，提交十几个任务即可完成，不需要拆到单天。

内容的提问来源于stack exchange，提问作者jarvis