使用PySpark Elasticsearch连接器读取失败，Python客户端可正常访问

虽然Python客户端与PySpark连接器指向同一ES集群，但两者的配置逻辑、参数兼容性存在差异，导致连接结果不同，核心可能原因包括：

• SSL配置冲突：Python客户端明确使用HTTPS协议访问，但PySpark连接器中es.net.ssl设为False（强制HTTP），若ES集群实际仅监听HTTPS端口，会直接导致连接失败。
• 参数版本兼容性：你使用的8.9.1版本连接器中，es.resource参数已被废弃，该参数在旧版本中用于指定索引，但新版本需直接通过load()方法传入索引名，错误参数会导致连接器无法定位目标索引。
• 认证参数命名变更：新版本连接器中，HTTP基础认证参数已从es.net.http.auth.user/es.net.http.auth.pass改为es.http.auth.user/es.http.auth.password，旧参数名可能无法被识别，导致认证失败。
• 端口与协议不匹配：若ES集群使用HTTPS默认端口443，但连接器以HTTP方式访问该端口，会出现连接拒绝；反之若用HTTP端口但开启SSL，同样会失败。
• 缺少超时配置：Python客户端设置了150秒超时，而连接器默认超时较短，若ES集群响应较慢，会触发连接超时错误。

按以下步骤逐一验证修复：

1. 修正SSL与协议配置
   由于Python客户端使用HTTPS访问，将连接器的SSL配置改为True，确保协议匹配：

   es_options = {
       # 保留其他参数
       "es.net.ssl": "true",  # 改为true，对应HTTPS协议
   }
   

2. 替换废弃的索引参数
   删除es.resource参数，直接在load()方法中指定索引名：

   es_dataframe = spark.read.format("org.elasticsearch.spark.sql") \
       .options(**es_options) \
       .load(INDEX_NAME_START)  # 直接传入索引名
   

   或使用新版本官方推荐参数：

   es_options = {
       # 保留其他参数
       "es.index.read.mapping.name": INDEX_NAME_START
   }
   

3. 更新认证参数名
   将旧的认证参数替换为新版本支持的名称：

   es_options = {
       # 替换原有的auth参数
       "es.http.auth.user": USER,
       "es.http.auth.password": PASSWORD,
       # 保留其他参数
   }
   

4. 确认端口与协议匹配
   检查PORT变量的值：

   • 若ES用HTTPS，端口应为443（或自定义HTTPS端口），且es.net.ssl设为true
   • 若ES用HTTP，端口应为9200（或自定义HTTP端口），且es.net.ssl设为false

5. 添加超时配置
   增加连接与读取超时参数，避免因集群响应慢导致失败：

   es_options = {
       # 保留其他参数
       "es.http.timeout": "150s",
       "es.http.connect.timeout": "30s"
   }
   

6. 验证节点地址格式
   确保CONN_ENV是纯域名或IP地址，不要带https://前缀（连接器会根据es.net.ssl自动添加协议）。

7. 开启调试日志
   添加日志参数，查看连接器的详细连接过程，定位具体失败节点与原因：

   es_options = {
       # 保留其他参数
       "es.log.level": "DEBUG"
   }
   

   运行Spark任务后，查看日志中关于ES连接的详细报错信息。

内容的提问来源于stack exchange，提问作者oviedoh7