调用BigQuery Storage Write API触发CreateWriteStream配额超限问题咨询

你遇到的429报错和你查阅到的并发连接配额属于两个完全独立的BigQuery Storage Write API配额项，二者限制逻辑不同：

• 报错触发的是CreateWriteStream requests per minute per project配额，即每分钟发起创建写流请求的次数上限，单区域部署的BigQuery数据集该配额默认值为100次/分钟，和你碰到的实例数超过100就报错的现象完全吻合。
• 你查到的10000/100并发连接配额，指的是已经成功创建的WriteStream的同时活跃连接数上限，和创建流的请求频率没有关系。

文档中提到的区域配额规则和BigQuery数据集的部署位置直接相关，和Cloud Function的部署位置无关：

• 只有当你的BigQuery数据集位置设置为US（美国多区域，不是us-central1这类单区域）或EU（欧盟多区域）时，对应的并发连接配额才是10000，创建流的请求配额也会对应提升。
• 如果你的BigQuery数据集部署在us-central1这类单区域下，所有配额都按单区域的标准执行，也就是并发连接上限100，创建流请求上限100次/分钟。

• 优先复用WriteStream：不要每次Cloud Function处理请求都创建新的流，单实例可以复用同一个流处理多批写入任务，大幅降低创建流的请求频次。
• 改用默认流写入：如果你的场景允许使用提交模式为COMMITTED的默认流，不需要显式调用CreateWriteStream接口创建流，直接调用AppendRows接口即可写入数据，完全避开创建流的配额限制。
• 若有实际业务需要，可以在Google Cloud控制台的配额页面提交工单，申请提升CreateWriteStream requests per minute的配额上限。
• 如果业务允许跨区域容错，可以将BigQuery数据集切换为US多区域部署，获取更高的配额上限。

内容的提问来源于stack exchange，提问作者Rodrigo Delfino