Kafka Ignite Sink Connector远程节点数据传输异常问题咨询

你遇到的第二个场景连接失败，核心是Ignite客户端（即Sink Connector）无法正常发现并加入远程Ignite集群，常见诱因有4个：

1. Ignite服务端默认绑定127.0.0.1，没有绑定对外可访问的内网/公网IP，外部请求无法接入
2. 服务器防火墙/安全组未放开Ignite默认端口：发现端口47500_{47509、节点通信端口47100}47109，外部请求被拦截
3. 服务端和Connector端的集群名、发现配置不一致，Connector无法匹配到目标集群
4. 跨网段部署时Ignite服务端没有配置地址映射，返回给Connector的是节点本地内网IP，导致Connector无法建立连接

三个测试场景的结果完全符合上述逻辑：

• 全本地部署时不存在网络和地址绑定问题，配置匹配即可正常运行
• Connector部署在Ignite侧时相当于本地访问Ignite集群，规避了跨节点连接的配置问题，只要Kafka端口对外放开就可以正常拉取数据写入
• 部署在Kafka侧访问远程Ignite时刚好触发了上述的网络或配置问题，导致连接失败

没有强制要求，可根据你的运维体系选择：

• 如果你已经有成熟的Kafka Connect集群运维体系，优先部署在Kafka侧，可直接复用现有集群的监控、扩缩容、容错能力，降低运维成本
• 如果你希望减少数据跨网传输开销，且Ignite集群有专属运维资源，可部署在Ignite侧

先完成两项基础验证，再调整配置：

• 登录部署Connector的Kafka节点，执行telnet <Ignite节点IP> 47500验证端口连通性，所有Ignite节点的47500、47100端口都要能正常访问
• 确认服务端和Connector端使用的Ignite大版本一致，跨大版本会存在兼容性问题导致连接失败

Ignite服务端配置（example-cache.xml） #

需要修改以下配置项：

• 取消本地IP绑定：删除或修改<property name="localHost" value="127.0.0.1"/>为当前节点可被外部访问的IP
• 改用静态IP发现：将默认的组播发现TcpDiscoveryMulticastIpFinder替换为静态IP发现，示例配置如下：

<property name="discoverySpi">
  <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
    <property name="ipFinder">
      <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder">
        <property name="addresses">
          <list>
            <!-- 填写所有Ignite集群节点的内部IP+47500端口 -->
            <value>192.168.3.10:47500</value>
            <value>192.168.3.11:47500</value>
          </list>
        </property>
      </bean>
    </property>
  </bean>
</property>

• 跨网段部署时增加地址映射配置，将节点内网IP映射为外部可访问的公网IP：

<property name="addressResolver">
  <bean class="org.apache.ignite.configuration.BasicAddressResolver">
    <property name="addresses">
      <map>
        <entry key="192.168.3.10" value="110.xx.xx.10"/>
        <entry key="192.168.3.11" value="110.xx.xx.11"/>
      </map>
    </property>
  </bean>
</property>

• 确保clusterName配置值固定，不要用自动生成的随机值，和Connector端配置保持一致

Connector端传入的XML配置 #

需要修改以下配置项：

• 开启客户端模式：增加<property name="clientMode" value="true"/>，避免Connector作为数据节点加入集群占用Ignite存储资源
• 发现配置和服务端匹配：clusterName和服务端完全一致，静态IP发现列表填写所有Ignite节点的外部可访问IP+47500端口
• 保留目标Cache的名称配置即可，不需要重复配置服务端的Cache分区、持久化等属性

内容的提问来源于stack exchange，提问作者Shubham Shirur