Apache Ignite：Windows下TcpDiscoverySPI Join请求失败耗时2秒致节点启动缓慢

1. Windows与Linux TCP栈行为差异：Windows系统默认的TCP连接超时响应远慢于Linux，Ignite的TcpDiscoverySpi在Windows下默认采用2秒的socket连接超时，而Linux系统层面会在毫秒级内返回连接失败结果。
2. 无效连接尝试累积耗时：启动第一个节点时，TcpDiscoveryVmIpFinder中配置的其他4个节点均未启动，Ignite会默认尝试每个节点的多个端口（默认范围47500-47509），每个失败连接都会等待2秒超时，大量无效尝试的时间累积后就导致了长达4分钟的启动耗时。

通过调整TcpDiscoverySpi的参数，缩短单次超时时间并减少无效端口尝试，可大幅降低启动耗时：

1. 缩短socket连接超时时间 #

将socketTimeout参数设置为更小的值（比如100毫秒），减少单次连接失败的等待时间。

2. 限制端口范围，使用固定端口 #

通过localPort指定固定端口，同时将localPortRange设为0，避免Ignite自动扫描多个端口，减少无效连接尝试的次数。

3. 明确指定节点地址 #

在IpFinder中直接配置每个节点的固定端口，不要依赖端口范围扫描。

Java代码配置示例 #

import org.apache.ignite.Ignite;
import org.apache.ignite.Ignition;
import org.apache.ignite.configuration.IgniteConfiguration;
import org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi;
import org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder;
import java.util.Arrays;

public class IgniteConfig {
    public static void main(String[] args) {
        TcpDiscoverySpi discoverySpi = new TcpDiscoverySpi();
        TcpDiscoveryVmIpFinder ipFinder = new TcpDiscoveryVmIpFinder();
        
        // 配置所有节点的固定端口地址
        ipFinder.setAddresses(Arrays.asList(
            "as-node1:47500",
            "as-node2:47500",
            "as-node3:47500",
            "as-node4:47500",
            "as-node5:47500"
        ));
        
        discoverySpi.setIpFinder(ipFinder);
        discoverySpi.setSocketTimeout(100); // 连接超时设为100毫秒
        discoverySpi.setLocalPort(47500); // 使用固定端口
        discoverySpi.setLocalPortRange(0); // 不扫描其他端口
        
        IgniteConfiguration cfg = new IgniteConfiguration();
        cfg.setDiscoverySpi(discoverySpi);
        
        Ignite ignite = Ignition.start(cfg);
    }
}

XML配置示例 #

<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                           http://www.springframework.org/schema/beans/spring-beans.xsd">

    <bean id="ignite.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
        <property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="ipFinder">
                    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
                        <property name="addresses">
                            <list>
                                <value>as-node1:47500</value>
                                <value>as-node2:47500</value>
                                <value>as-node3:47500</value>
                                <value>as-node4:47500</value>
                                <value>as-node5:47500</value>
                            </list>
                        </property>
                    </bean>
                </property>
                <property name="socketTimeout" value="100"/>
                <property name="localPort" value="47500"/>
                <property name="localPortRange" value="0"/>
            </bean>
        </property>
    </bean>
</beans>

注意事项 #

• socketTimeout的数值不要设置过小，避免因网络波动导致正常连接被误判为失败，建议根据实际网络环境调整在100-500毫秒之间。
• 确保所有节点使用相同的固定端口配置，避免出现节点无法互相发现的情况。

内容的提问来源于stack exchange，提问作者Lakshmikantha Reddy