Ignite 2.16并行创建表性能不佳 寻求优化配置方案

针对你遇到的并行创建100张表耗时过长的问题，以下是几个直接有效的优化方向：

1. 调整REST API线程池大小 #

你通过REST API与Ignite交互，默认情况下REST端点的处理线程池较小，会导致并行请求被串行排队。需要在Ignite配置中增大REST线程池：

<property name="connectorConfiguration">
    <bean class="org.apache.ignite.configuration.ConnectorConfiguration">
        <!-- 根据服务器CPU核心数调整，建议设置为核心数的2-4倍 -->
        <property name="restThreadPoolSize" value="64"/>
    </bean>
</property>

2. 优化系统缓存的并发配置 #

Ignite的表元数据存储在系统缓存（如IGNITE_SYS_CACHE、IGNITE_SYS_QUERY_ENTRIES）中，这些缓存默认并发级别低，会导致元数据更新时锁竞争加剧。需要自定义系统缓存的配置：

<property name="systemCacheConfiguration">
    <list>
        <bean class="org.apache.ignite.configuration.CacheConfiguration">
            <property name="name" value="IGNITE_SYS_CACHE"/>
            <property name="concurrencyLevel" value="1024"/>
            <property name="backups" value="0"/>
            <property name="atomicityMode" value="ATOMIC"/>
        </bean>
        <bean class="org.apache.ignite.configuration.CacheConfiguration">
            <property name="name" value="IGNITE_SYS_QUERY_ENTRIES"/>
            <property name="concurrencyLevel" value="1024"/>
            <property name="backups" value="0"/>
            <property name="atomicityMode" value="ATOMIC"/>
        </bean>
    </list>
</property>

3. 调整管理线程池大小 #

DDL（表创建）操作属于系统管理任务，默认使用的managementThreadPool线程数有限，需要增大该线程池：

<property name="managementThreadPoolSize" value="32"/>

4. 设置默认缓存配置（适配自动创建的表缓存） #

你当前配置的myTableCache仅针对手动创建的缓存，而SQL CREATE TABLE会自动生成新的缓存。需要设置默认缓存配置，让所有自动创建的表缓存使用高并发参数：

<property name="defaultCacheConfiguration">
    <bean class="org.apache.ignite.configuration.CacheConfiguration">
        <property name="backups" value="0"/>
        <property name="concurrencyLevel" value="1024"/>
        <property name="atomicityMode" value="ATOMIC"/>
        <property name="sqlOnheapCacheEnabled" value="true"/>
    </bean>
</property>

5. 批量执行DDL语句 #

减少网络往返和元数据同步次数，将多个CREATE TABLE语句合并为一个批量请求发送。例如在REST API中，用分号分隔多个DDL语句：

CREATE TABLE table1 (id INT PRIMARY KEY, val VARCHAR);
CREATE TABLE table2 (id INT PRIMARY KEY, val VARCHAR);
-- ... 更多表创建语句

为什么你之前的配置无效？ #

• collisionSpi：仅控制计算任务的并发执行，不影响DDL这类系统管理操作
• queryParallelism：针对SQL查询的并行扫描，与表创建无关
• queryThreadPoolSize：服务SQL查询请求，DDL操作使用的是管理线程池而非查询线程池

内容的提问来源于stack exchange，提问作者Ayush Tripathi