Kafka DNS配置场景下支持DNS属性的tailing source应用推荐咨询
可行解决方案如下:
方案1:直接复用现有Flume配置,透传Kafka DNS属性
Flume 1.9.0的Kafka Sink原生支持自定义透传所有Kafka生产者属性,你不需要调整现有tailing source逻辑,只需要在Kafka Sink的配置中添加前缀为kafka.producer.的属性即可,你需要的DNS配置直接加一行:
<你的Sink名称>.kafka.producer.client.dns.lookup=use_all_dns_ips
该配置会直接传递给底层Kafka生产者客户端,完全兼容Kafka 2.7版本的DNS解析规则,不需要修改Flume源码。
方案2:替换为原生支持自定义Kafka配置的轻量采集工具
如果不想改动现有Flume链路,也可以用以下成熟的tailing采集工具替代:
- Filebeat:轻量级日志采集agent,原生支持实时追踪文件增量内容,输出到Kafka时可在
output.kafka配置段直接添加client_dns_lookup: "use_all_dns_ips",资源占用远低于Flume,适合大规模生产环境使用。 - Telegraf:开源监控&日志采集代理,tail输入插件支持实时采集文件增量,Kafka输出插件支持透传任意Kafka客户端配置,直接在Kafka输出配置中添加
dns_lookup = "use_all_dns_ips"即可生效。
方案3:使用Kafka Connect生态的第三方tail插件
如果要对接Kafka Connect体系,可以使用开源的File Pulse Connector,该插件支持实时tailing本地文件,同时可以在Connector配置或者Kafka Connect Worker配置中直接添加client.dns.lookup=use_all_dns_ips属性,满足你的DNS配置需求。
内容的提问来源于stack exchange,提问作者hoon
相关产品推荐
相关产品推荐

