Apache Ignite Java瘦客户端执行COPY FROM加载CSV失败问题咨询

问题背景 #

使用sqlline工具执行COPY FROM加载CSV文件到Ignite表完全正常，但通过Java瘦客户端执行相同SQL命令时，抛出序列化异常，错误指向org.apache.ignite.internal.processors.bulkload.BulkLoadProcessor无法序列化。

相关代码 #

try (IgniteClient client = Ignition.startClient(cfg)) {
    String insert_customer_sql="COPY FROM '/opt/ignite/customer.csv' INTO customer(c_custkey, c_mktsegment, c_nationkey, c_name, c_address, c_phone, c_acctbal, c_comment) FORMAT CSV";

    System.out.println("Inserting Data into Customer Table");
    client.query(new SqlFieldsQuery(String.format(insert_customer_sql))).getAll();
}

核心异常信息 #

Exception in thread "main" org.apache.ignite.client.ClientException: Ignite failed to process request [4]: 50000: Failed to serialize object [typeName=org.apache.ignite.internal.processors.bulkload.BulkLoadProcessor] (server status code [1])

原因分析 #

Ignite瘦客户端与服务器通过网络通信，所有请求和响应都需要序列化。COPY FROM命令依赖服务器内部的BulkLoadProcessor组件处理批量加载逻辑，但该组件并非为跨节点序列化设计，无法传递给客户端，因此触发序列化失败异常。

而sqlline是直接在服务器节点上下文执行SQL命令，不存在跨节点序列化组件的需求，所以可以正常执行。

解决方案 #

方案1：使用瘦客户端专属批量加载API（推荐） #

Ignite提供BulkLoadClient专门用于瘦客户端的批量数据加载，无需执行COPY FROM命令，直接将本地文件流发送到服务器处理：

import org.apache.ignite.client.IgniteClient;
import org.apache.ignite.client.IgnitionClient;
import org.apache.ignite.client.bulkload.BulkLoadClient;
import org.apache.ignite.client.bulkload.BulkLoadConfiguration;
import org.apache.ignite.client.bulkload.BulkLoadFormat;

import java.io.FileInputStream;
import java.io.InputStream;

// ...

try (IgniteClient client = Ignition.startClient(cfg)) {
    BulkLoadClient bulkLoadClient = client.bulkLoadClient();

    // 配置批量加载参数：指定CSV格式和目标表字段
    BulkLoadConfiguration loadCfg = new BulkLoadConfiguration()
            .format(BulkLoadFormat.CSV)
            .destination("customer(c_custkey, c_mktsegment, c_nationkey, c_name, c_address, c_phone, c_acctbal, c_comment)");

    // 读取本地CSV文件并上传加载
    try (InputStream fileIn = new FileInputStream("/opt/ignite/customer.csv")) {
        bulkLoadClient.load(loadCfg, fileIn);
    }

    System.out.println("Customer表数据加载完成");
}

方案2：切换为胖客户端（JDBC Thick Client） #

如果业务允许使用胖客户端，可以直接加入Ignite集群执行COPY FROM命令，避免序列化问题：

import org.apache.ignite.Ignite;
import org.apache.ignite.Ignition;
import org.apache.ignite.cache.query.SqlFieldsQuery;

// ...

try (Ignite ignite = Ignition.start()) {
    SqlFieldsQuery copyQuery = new SqlFieldsQuery(
            "COPY FROM '/opt/ignite/customer.csv' INTO customer(c_custkey, c_mktsegment, c_nationkey, c_name, c_address, c_phone, c_acctbal, c_comment) FORMAT CSV"
    );

    ignite.context().query().querySqlFields(copyQuery, false).getAll();
    System.out.println("Customer表数据加载完成");
}

方案3：服务器端执行COPY命令（备选） #

将CSV文件上传到Ignite集群所有节点的相同路径下，然后通过分布式任务或存储过程在服务器端执行COPY FROM命令，避免客户端直接触发该操作。

内容的提问来源于stack exchange，提问作者vinod nerella