Python构造CASE WHEN更新BQ SQL语法校验及更新超时问题咨询

你编写的SQL存在多处语法错误：

• UPDATE语句仅允许出现1次SET关键字，多个更新字段需要用逗号分隔，你写了两次SET会直接触发语法报错。
• 表名标识符不允许用单引号包裹，BQ中如果需要转义表名需要使用反引号`，单引号仅用于字符串值声明。
• WHERE ad_id IN {str(ad_ids)} 拼接后是方括号格式，而BQ的IN条件要求值列表用圆括号包裹，此处格式错误。
• 你直接拼接removal_error字符串，如果值里包含单引号会导致SQL结构被破坏，还存在SQL注入风险。

BigQuery服务端本身对DML作业的超时限制为6小时，你遇到的300秒超时是Python客户端的默认请求超时阈值，并非BQ服务端的限制。这个报错是客户端等待服务端响应超过300秒后主动断开了连接，和服务端作业是否执行完成无关。

1. 优先修正SQL语法，参考写法：

UPDATE `{table_full_name}` 
SET status = 'Failed Removing',
removal_error = CASE {update_removal_error} END 
WHERE ad_id IN ({','.join([f"'{id}'" for id in ad_ids])})

2. 建议调整更新逻辑：如果单次更新行数较多，不要用拼接长CASE WHEN的方式，改为先将待更新数据写入临时表，再用MERGE语句关联更新，性能和稳定性更高。
3. 解决超时问题：调整BigQuery Python客户端的超时参数，或者改用异步提交作业的方式，提交后轮询作业状态，不要同步等待接口返回。

内容的提问来源于stack exchange，提问作者Elad Benda