在Planetscale使用Prisma执行长查询遇超时问题求助

问题背景 #

导入含关联关系的CSV文件时，自定义的大型upsert语句在Planetscale和Vercel Postgres平台触发20秒超时终止操作，错误信息如下：

Error occurred during query execution: ConnectorError(ConnectorError { user_facing_error: None, kind: QueryError(Server(ServerError { code: 1105, message: "target: schotw.-.primary: vttablet: rpc error: code = Aborted desc = transaction 1687744201628715261: ended at 2023-06-26 15:34:49.624 UTC (exceeded timeout: 20s) (CallerID: ************)", state: "HY000" })),  transient: false })

该查询在本地数据库可瞬间完成，此前在Firebase/Firestore执行同类操作也能快速完成，现需在Serverless关系型数据库上完成此类批量数据操作。

可行解决方案 #

• 拆分批量操作
  将单条大型upsert拆分为多个小批次操作，每次处理100-500条数据（可根据数据关联复杂度调整批次大小），每批执行完成后再提交下一批。确保每个批次的查询执行时间控制在平台20秒的超时限制内。

• 使用数据库原生导入工具
  Planetscale提供pscale import命令行工具专门用于CSV导入；Vercel Postgres可通过控制台或psql的COPY命令完成批量导入。这些原生工具针对批量数据做了性能优化，绕过普通查询的超时限制，效率远高于自定义upsert语句。

• 优化查询与事务
  检查upsert语句中关联字段的索引是否配置完整，缺失索引会大幅增加云端数据库的查询匹配时间；同时避免将所有操作放入单个大事务，改为每批数据单独提交事务，缩短事务生命周期，减少连接占用时间。

• 改用异步任务执行
  将数据导入操作放到异步任务队列（如BullMQ）或平台提供的异步执行环境（如Vercel定时任务）中运行，脱离HTTP请求的上下文限制，规避请求级别的超时限制。

内容的提问来源于stack exchange，提问作者schmell