Exposed批量插入触发BatchDataInconsistentException问题求助

问题描述 #

在基于Exposed框架实现博士论文信息批量插入功能时，已在代码中为phd_institutions表的title、updatedAt、createdAt字段赋值，但测试时仍抛出异常：

>org.jetbrains.exposed.sql.statements.BatchDataInconsistentException: Can't add a new batch because columns: phd_institutions.title, phd_institutions.updated_at, phd_institutions.created_at don't have default values. DB defaults are not supported in batch inserts

问题原因 #

1. 批量处理的不一致性：循环处理论文条目时，部分机构已存在（通过firstOrNull命中），部分需要新建。Exposed的自动批量机制在混合查询复用与插入操作时，可能出现批量数据结构不一致，导致框架误判字段未赋值。
2. 字段类型兼容问题：使用Clock.System.now()返回的Instant类型为timestamp字段赋值，若Exposed版本未正确支持该类型转换，会被视为未赋值，进而尝试依赖数据库默认值（而数据库未设置）。
3. 框架特性限制：Exposed批量插入不支持依赖数据库默认值，即使代码中已赋值，若批量构建逻辑出现偏差，仍会触发异常。

解决方案 #

方案1：为数据表字段添加默认值 #

修改表定义，为时间字段添加数据库级默认值，并为title添加唯一索引避免重复：

object PhdInstitutionsTable: IntIdTable("phd_institutions") {
    val title = text("title").uniqueIndex()
    val updatedAt = timestamp("updated_at").defaultExpression(CurrentTimestamp())
    val createdAt = timestamp("created_at").defaultExpression(CurrentTimestamp())
}

此方案确保数据库自动填充缺失值，同时唯一索引与代码中的firstOrNull逻辑互补，防止重复插入。

方案2：显式控制插入逻辑，禁用自动批量 #

改用显式insert语句确保字段被正确纳入插入语句：

// 替换机构插入部分的代码
PhdInstitutionEntity.find { PhdInstitutionsTable.title eq institution }.firstOrNull() ?: run {
    val insertId = PhdInstitutionsTable.insert {
        it[title] = institution
        it[updatedAt] = Clock.System.now()
        it[createdAt] = Clock.System.now()
    } get PhdInstitutionsTable.id
    PhdInstitutionEntity[insertId]
}

或者在事务中禁用自动批量处理：

suspendTransaction {
    TransactionManager.current().executor.inTransaction {
        it.autoCommit = false
    }
    // 后续处理逻辑不变
}

方案3：确保字段类型匹配 #

使用Exposed支持的时间类型（如LocalDateTime）赋值，或添加扩展依赖支持Instant类型：

// 转换为LocalDateTime赋值
updatedAt = LocalDateTime.now(ZoneOffset.UTC)
createdAt = LocalDateTime.now(ZoneOffset.UTC)

Gradle依赖添加：

implementation("org.jetbrains.exposed:exposed-java-time:$exposedVersion")

方案4：预加载现有机构，避免混合操作 #

批量处理前预加载所有已存在的机构到缓存，循环时直接从缓存获取，避免交替查询与插入操作：

override suspend fun addDissertationsBatch(dissertations: List<PhdDissertationDTO>): List<String> =
    suspendTransaction {
        val existingInstitutions = PhdInstitutionEntity.all().associateBy { it.title }
        val failedInsertionPhdTitles = arrayListOf<String>()
        
        dissertations.forEach { phdDissertationDTO ->
            try {
                // ... 其他关联实体处理逻辑 ...
                
                phdDissertation.institutions = SizedCollection(phdDissertationDTO.institutions.map { institution ->
                    existingInstitutions[institution] ?: PhdInstitutionEntity.new {
                        title = institution
                        updatedAt = Clock.System.now()
                        createdAt = Clock.System.now()
                    }.also { existingInstitutions[institution] = it }
                })
            } catch (e: Exception) {
                e.printStackTrace()
                failedInsertionPhdTitles.add(phdDissertationDTO.title)
            }
        }
        failedInsertionPhdTitles
    }

内容的提问来源于stack exchange，提问作者Stelios Papamichail