You need to enable JavaScript to run this app.
导航

Flink 访问 PrivateLink 域名解析(EMR 等服务)

最近更新时间2024.04.10 16:49:42

首次发布时间2024.04.10 16:49:42

在特定场景下,需要 Flink 通过 Private Link 访问外部服务。比如 Flink 访问 EMR 等服务提供的 Priavte Link 域名。 本文为您介绍如何实现 Flink 通过 Private Link 访问指定服务。
Serverless Flink 默认不会解析 Private Link 中的域名,需要增加两个 Flink 自定义参数将需要解析的域名注入到 Flink 运行时环境。

containerized.master.env.ENV_SEARCH_DOMAIN: 需要解析的 Private 域名后缀
containerized.taskmanager.env.ENV_SEARCH_DOMAIN: 需要解析的 Private 域名后缀

实践案例

访问 EMR 服务

  1. 在 Flink 任务没有特殊配置时无法正常访问 EMR 服务,报错无法解析到 EMR 节点域名对应的地址。
  1. 查看 EMR 中节点的 DNS 域名,提取下图中的 "cn-beijing.emr-volces.com",注意不同集群的域名不一样。
  1. 在 Flink 配置自定义参数中增加相关配置。
  1. 上线启动后,任务就可以正常解析到 EMR 的域名对应服务地址了。

如果其他服务提供了 PrivateLink 域名或者自行配置了 PrivateLink 域名,也需要类似于访问 EMR 服务,将对应的域名后缀增加到 Flink 的自定义参数中。