使用JPA导入CSV到MySQL遇序列化异常问题求助

Hey there, let's break down this serialization issue you're hitting when using JPA to run LOAD DATA INFILE for CSV imports into MySQL. This error usually pops up when Hibernate (the most common JPA implementation) tries to serialize something it shouldn't, so let's dig into the why and how to fix it.

可能的异常原因 #

• Hibernate会话的序列化限制：LOAD DATA INFILE是MySQL原生命令，当你通过JPA的EntityManager执行它时，Hibernate可能会在执行过程中尝试序列化会话上下文的部分内容（比如事务状态或缓存实体）。但问题在于Hibernate的Session对象本身是不可序列化的，所以任何序列化它的尝试都会抛出这个错误。
• 实体类未实现Serializable接口：如果你的实体类使用了Hibernate的二级缓存，或者事务上下文需要传递实体实例，Hibernate会期望这些实体是可序列化的。如果实体类没实现这个接口，在执行导入命令时就可能间接触发序列化异常。
• 不合适的事务上下文：如果是在分布式事务或需要会话序列化的异步任务中执行LOAD DATA INFILE，事务管理器可能会尝试序列化Hibernate会话，而这是不被支持的。

解决办法 #

• 直接使用JDBC连接执行命令：最可靠的修复方式是绕过Hibernate的会话管理，直接使用原生JDBC连接。Hibernate提供了doWork方法，能让你安全地做这件事而不干扰会话状态。示例代码如下：

@Autowired
private EntityManager entityManager;

public void importCsvFromFile() {
    // 从EntityManager中解包出Hibernate Session
    Session hibernateSession = entityManager.unwrap(Session.class);
    
    hibernateSession.doWork(connection -> {
        try (Statement stmt = connection.createStatement()) {
            String loadDataSql = "LOAD DATA INFILE '/path/to/your/csv/file.csv' " +
                                 "INTO TABLE your_target_table " +
                                 "FIELDS TERMINATED BY ',' " +
                                 "ENCLOSED BY '\"' " +
                                 "LINES TERMINATED BY '\\n' " +
                                 "IGNORE 1 LINES"; // 如果有表头就跳过第一行
            stmt.executeUpdate(loadDataSql);
        } catch (SQLException e) {
            // 在这里处理SQL异常
            throw new RuntimeException("CSV数据导入失败", e);
        }
    });
}

这种方式直接操作JDBC连接，不会触发任何Hibernate会话的序列化逻辑。

• 让实体类实现Serializable接口：如果你依赖二级缓存，或者事务需要序列化实体，请确保所有实体类都实现Serializable接口。同时，用transient关键字标记任何不可序列化的字段，让Hibernate在序列化时跳过它们。

• 调整事务配置：如果是在分布式事务或异步任务中执行导入，尝试将这个操作隔离到一个独立的事务中（设置传播行为为REQUIRES_NEW），或者在非事务环境下执行（如果业务逻辑允许的话）。这能避免事务管理器尝试序列化Hibernate会话。

• 检查Hibernate缓存配置：如果不需要二级缓存，在Hibernate设置中禁用它（将hibernate.cache.use_second_level_cache设为false）。这样就能消除Hibernate为缓存而序列化实体的需求。

内容的提问来源于stack exchange，提问作者Fernando Aguilar