Flink Elasticsearch7 connector SSL配置及Elasticsearch8兼容性咨询

对应问题的结论如下： #

• 关于Elasticsearch7SinkBuilder的SSL配置入口：不存在配置遗漏，SSL相关配置没有做顶层builder方法暴露，全部收敛在自定义Rest客户端构造的扩展点中。
• 关于和旧版废弃ElasticsearchSink.Builder的自定义SSL能力对齐：两者能力完全等价。Elasticsearch7SinkBuilder提供的setRestClientFactory方法和旧版扩展点使用完全相同的RestClientFactory接口，之前为HTTPS/SSL连接写的自定义逻辑可以直接复用，不需要调整核心实现。自定义SSL配置的参考写法如下：

Elasticsearch7Sink<YourRecord> esSink = new Elasticsearch7SinkBuilder<YourRecord>()
    .setHosts(esHosts)
    // 自定义REST客户端配置，SSL、认证、请求头都在这里设置
    .setRestClientFactory(restClientBuilder -> {
        restClientBuilder.setHttpClientConfigCallback(httpAsyncClientBuilder -> {
            // 1. 加载自定义信任库、构造SSLContext
            // 2. 配置主机名验证规则
            // 3. 配置SSL连接相关参数
            return httpAsyncClientBuilder.setSSLContext(customSslContext)
                    .setSSLHostnameVerifier(customHostnameVerifier);
        });
    })
    .setBulkFlushMaxActions(1000)
    .setEmitter((record, context, indexer) -> {
        // 写入逻辑
        indexer.add(IndexRequest.of(idx -> idx.index("your_index").document(record)));
    })
    .build();

• 关于对接Elasticsearch 8集群的兼容性：两类客户端都只能有限兼容ES8集群，无法做到原生适配。
  兼容的前提是ES8集群侧开启REST API 7.x兼容模式，同时需要在自定义RestClientFactory中给所有请求添加application/vnd.elasticsearch+json;compatible-with=7的兼容头。如果不开兼容模式，ES8默认移除了mapping type、调整了部分批量写入API的字段校验规则，ES7版本的客户端会出现写入报错、API调用不兼容的问题，生产环境不建议在未开兼容的情况下用ES7连接器对接ES8集群。
• 关于连接器兼容性规则：最新版文档不再单独维护独立的兼容性矩阵，统一遵循大版本绑定规则：
  • flink-connector-elasticsearch7 官方适配范围为Elasticsearch 7.0.0 ~ 7.17.x全系列小版本，跨大版本对接仅做兼容模式下的有限支持，不保证所有功能可用
  • 旧版flink-connector-elasticsearch6适配Elasticsearch 6.x全系列，flink-connector-elasticsearch5适配Elasticsearch 5.x系列，跨大版本无兼容保证
  • 官方原生支持Elasticsearch 8的连接器从Flink 1.17版本开始正式提供，低版本Flink如果要对接原生ES8集群（不开7.x兼容），建议升级对应Flink版本。

内容的提问来源于stack exchange，提问作者Shishal