如何使用DBAPI向BigQuery数据表插入多组值列表

原写法报错原因 #

你提供的代码存在两处核心错误：

• 使用了仅支持单组参数的execute方法，未使用DBAPI规范中专门处理批量参数的executemany方法
• 传入的参数格式不符合要求：(('4'),('3'))中的每个子项没有末尾逗号，会被Python识别为普通字符串而非单元素元组，无法和SQL占位符匹配

正确实现方式 #

方式1：使用executemany（推荐） #

该方式符合DBAPI标准，底层会自动优化批量插入性能，代码易维护，适合行数较多的场景：

# 表只有1个字段的场景，若有多个字段可显式指定字段名，例如 INSERT INTO test.test(col1, col2) VALUES (%s, %s)
query = "INSERT INTO test.test VALUES (%s)"
# 每个子元组对应一行数据，单元素元组必须加末尾逗号
params = [('4',), ('3',)]
self._cursor.executemany(query, params)

方式2：单条execute拼接多值占位符 #

如果不想用executemany，也可以手动拼接对应行数的占位符，一次性执行：

# 2行数据对应2个占位符组
query = "INSERT INTO test.test VALUES (%s), (%s)"
# 参数按顺序平铺即可
params = ('4', '3')
self._cursor.execute(query, params)

注意事项 #

• 插入前请确认参数顺序和表字段顺序完全一致，也可以在SQL中显式指定字段名避免顺序错位
• 若表包含N个字段，每个行参数的元组长度也需要为N，占位符数量同步调整为N个
• 批量插入数据量较大时，建议优先使用executemany，该方法会减少和BigQuery的交互次数，性能更高

内容的提问来源于stack exchange，提问作者Nir Elbaz