批量从Excel导入含外键数据至SQL库：两种取外键方式孰优？

方案优劣对比 #

• 方案1（循环内查询数据库）：
  这种方式存在致命性能问题——4000行数据会发起4000次数据库查询请求，每次请求都要经过网络传输、数据库解析执行、结果返回的流程，累加的延迟和数据库负载会让导入速度变得极慢，还可能触发数据库连接数限制问题，完全不推荐。

• 方案2（预加载数据到内存查找）：
  这是最优方案，核心优势如下：

  1. 仅需1次数据库查询，将目标表的标题与对应Id加载到内存，用字典（比如Dictionary<string, int>）存储，键为标题、值为Id，循环内查找的时间复杂度为O(1)，性能远超方案1。
  2. 目标表即使有2000行数据，内存占用也可以忽略不计，不会产生性能压力。
  3. 可以提前统一处理标题格式（比如去除空格、统一大小写），避免匹配误差，校验逻辑更集中。

  注意：加载数据时要确保获取最新数据，若有其他业务同时修改目标表，可加读锁或使用合适的事务隔离级别，避免读取脏数据。

异常处理与原子性保障 #

要实现“某行有问题则不插入任何行”的需求，必须结合前置全量校验和数据库事务：

1. 前置全量校验：插入前先遍历所有Excel行，逐一校验外键标题是否存在于预加载的字典中，同时检查其他字段的格式、合法性。一旦发现问题（比如标题不存在、字段格式错误），立即终止流程，向用户返回具体错误（例如“第X行，XX标题不存在”）。
2. 事务包裹插入操作：所有行校验通过后，开启数据库事务，用批量插入语句（如SQL的INSERT INTO ... VALUES (...), (...), ...）完成数据插入。若插入过程中出现数据库异常（如主键冲突、约束违反），立即回滚事务；全部插入成功后再提交事务，确保数据的原子性。

内容的提问来源于stack exchange，提问作者Farzaneh Talebi