SpringBoot+SQLite批量插入遇数据库锁与连接耗尽问题求助

问题1：是否可以增加最大连接数？ #

不能盲目增加，反而需要合理限制。原因如下：

• SQLite是文件型数据库，默认写操作会触发独占式数据库锁，同一时间只能有一个写操作执行。盲目增大连接池（比如HikariCP的maximumPoolSize）会导致大量连接等待锁，反而加剧SQLITE_BUSY错误的出现。
• 客户端出现的SocketException: 无缓冲区可用，本质是后端Tomcat的并发连接数/线程数达到上限，无法处理更多请求。此时如果单纯调大Tomcat的maxConnections或maxThreads，会让更多请求涌入后端，但SQLite的写瓶颈没解决，反而会堆积更多请求，引发更严重的锁冲突和客户端报错。

建议配置：

• 将HikariCP连接池的maximumPoolSize设为1-2（写操作串行，少量连接足够）。
• Tomcat的maxThreads和maxConnections根据服务器资源调整，但不要超过SQLite能承载的并发上限（建议先设为50-100，后续根据测试调整）。

问题2：是否可以对查询进行排队，或确保每次HTTP请求后释放连接？ #

关于连接释放 #

正常情况下，Spring Boot结合JPA和@Transactional注解会自动管理连接：事务结束后（无论成功或失败），连接会自动归还到连接池。如果出现连接未释放的情况，检查以下几点：

• 确认@Transactional注解的作用范围是否正确（比如是否加在Service层的方法上，而非Controller层）。
• 排查是否有未关闭的EntityManager或JDBC资源（比如手动获取了连接但未关闭）。
• 检查HikariCP的连接超时配置（connectionTimeout、idleTimeout），确保闲置连接能被及时回收。

关于请求排队 #

必须对写请求进行排队或异步化，因为SQLite的写操作无法真正并发执行。具体方案：

1. 本地排队（轻量级）：在Service层用Semaphore控制写操作的并发数，比如设置许可数为1，让所有插入请求串行执行：

@Service
public class YourService {
    private final Semaphore writeLock = new Semaphore(1);

    @Transactional
    public void insertData(YourEntity entity) throws InterruptedException {
        writeLock.acquire();
        try {
            yourRepository.save(entity);
        } finally {
            writeLock.release();
        }
    }
}

2. 异步消息队列（高并发场景推荐）：将插入请求发送到消息队列（比如RabbitMQ、Kafka），后端单独启动消费线程批量处理插入。这种方式能将同步请求转为异步，避免客户端等待，同时批量插入能大幅提升SQLite的写入效率。
3. 批量插入优化：开启JPA的批量插入功能，减少SQL执行次数：

# application.properties
spring.jpa.properties.hibernate.jdbc.batch_size=50
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.jdbc.batch_versioned_data=true

额外优化建议 #

• 开启SQLite WAL模式：修改SQLite连接URL，添加journal_mode=WAL参数，WAL模式支持读操作与写操作并发执行，能显著降低锁冲突：

spring.datasource.url=jdbc:sqlite:your-db.db?journal_mode=WAL

• 客户端连接池配置：客户端调用API时，使用带连接池的HTTP客户端（比如RestTemplate结合HttpClientConnectionManager），设置合理的最大连接数和超时时间，避免短时间内发起过多请求导致缓冲区溢出。
• War包部署注意事项：部署到外部Tomcat时，需在context.xml中配置JNDI数据源（如果使用），并确保Tomcat的server.xml中Connector的maxConnections、maxThreads与后端连接池配置匹配，避免资源浪费。

内容的提问来源于stack exchange，提问作者davidvera