Spark3.2+Ignite Ext3.0.0：PySpark连接K8s中Ignite服务器求助

1. 依赖配置（Maven） #

在Spark应用的pom.xml中添加Ignite Spark扩展及K8s适配依赖：

<dependency>
    <groupId>org.apache.ignite</groupId>
    <artifactId>ignite-spark-3_2.12</artifactId>
    <version>3.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.ignite</groupId>
    <artifactId>ignite-kubernetes</artifactId>
    <version>3.0.0</version>
</dependency>

2. K8s环境核心连接配置要点 #

Spark应用需通过K8s服务发现机制定位Ignite集群，核心配置项：

• 指定Ignite集群的K8s Service名称（假设为ignite-service）
• 启用K8s服务发现SPI
• 确保客户端能访问Ignite默认通信端口10800

3. 代码连接示例（Scala） #

import org.apache.spark.sql.SparkSession
import org.apache.ignite.spark.IgniteDataFrameSettings._

object SparkIgniteK8sDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Spark-Ignite-K8s-Connect")
      .master("k8s://https://<your-k8s-api-server>") // 生产环境替换为K8s集群地址
      .config("spark.kubernetes.namespace", "<spark-app-namespace>")
      // Ignite连接配置
      .config(OPTION_CONFIG_FILE, "/opt/spark/conf/ignite-client-config.xml")
      .getOrCreate()

    // 从Ignite缓存读取数据示例
    val igniteDF = spark.read
      .format(FORMAT_IGNITE)
      .option(OPTION_TABLE, "your-cache-name")
      .load()

    igniteDF.show()

    spark.stop()
  }
}

对应的ignite-client-config.xml配置（适配K8s环境）：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                           http://www.springframework.org/schema/beans/spring-beans.xsd">

    <bean id="grid.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
        <!-- 启用客户端模式 -->
        <property name="clientMode" value="true"/>

        <!-- K8s服务发现配置 -->
        <property name="discoverySpi">
            <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                <property name="ipFinder">
                    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.kubernetes.TcpDiscoveryKubernetesIpFinder">
                        <!-- 指定Ignite集群的Service名称 -->
                        <property name="serviceName" value="ignite-service"/>
                        <!-- 若Spark与Ignite不在同一Namespace，需指定Ignite的Namespace -->
                        <!-- <property name="namespace" value="ignite-namespace"/> -->
                    </bean>
                </property>
            </bean>
        </property>

        <!-- 通信端口配置 -->
        <property name="communicationSpi">
            <bean class="org.apache.ignite.spi.communication.tcp.TcpCommunicationSpi">
                <property name="port" value="10800"/>
            </bean>
        </property>
    </bean>
</beans>

4. 关键注意事项 #

• 网络权限：检查K8s NetworkPolicy是否允许Spark应用所在Namespace访问Ignite Service的10800端口
• Service类型：同集群内访问用ClusterIP，集群外访问可切换为NodePort或LoadBalancer
• 版本兼容：确认Ignite Ext 3.0.0与Spark 3.2的依赖版本无冲突
• 配置挂载：将ignite-client-config.xml挂载到Spark Pod的可访问路径（如示例中的/opt/spark/conf/）

内容的提问来源于stack exchange，提问作者skumar710