将Elasticsearch索引读取到PySpark DataFrame遇权限错误，求正确方法

问题核心 #

执行df.show()触发权限报错，是因为ES-Hadoop连接器查询实际数据时需要indices:admin/shards/search_shards和indices:data/read/search权限；而读取schema仅需元数据权限（如indices:admin/mapping/get），这也是取schema能正常运行的原因——即使单集群，连接器内部逻辑仍会校验这两项数据查询权限。

解决步骤 #

• 补全用户权限配置
  确认当前ES用户所属角色已明确包含indices:admin/shards/search_shards和indices:data/read/search权限。可通过ES权限管理界面或命令行工具查看角色权限列表，将缺失权限添加至对应角色。

• 修正ES连接参数
  检查es_conf_read配置，避免触发跨集群判定逻辑：

  • 移除或设置es.nodes.wan.only: false（单集群环境无需开启公网访问模式）
  • 确保es.nodes仅配置当前集群的节点地址，不包含外部集群节点
  • 添加es.discovery.enabled: false，强制关闭集群发现功能，避免连接器误判场景

• 调整读取代码逻辑
  显式指定查询条件，确保连接器使用标准查询API：

  df = spark.read.format("org.elasticsearch.spark.sql") \
      .options(**es_conf_read) \
      .option("es.query", '{"query": {"match_all": {}}}') \
      .load(index_name)
  df.show()
  

  若权限临时无法调整，可尝试读取指定字段缩小数据范围：

  df = spark.read.format("org.elasticsearch.spark.sql") \
      .options(**es_conf_read) \
      .option("es.read.field.include", "field1,field2") \
      .load(index_name)
  df.show()
  

• 匹配连接器与ES版本
  确保使用的elasticsearch-spark-xx_xx依赖版本与Elasticsearch集群版本完全一致，版本不兼容可能导致权限校验逻辑异常。

内容的提问来源于stack exchange，提问作者lando