Python调用Docker容器内Logstash命令执行完成后进程不终止如何解决
解决方案
核心原因
Logstash 默认启用持续运行模式,即使输入插件已无新数据可处理,也会保持进程等待后续输入;同时你当前docker exec使用的-it参数在非交互式调用场景下也可能导致进程挂住。
调整步骤
- 第一步:删除
docker exec命令中的-it参数
该参数用于分配交互式终端,你通过Python subprocess非交互式调用时不需要这个配置,保留会导致进程因无终端连接异常挂起。 - 第二步:在Logstash启动参数中添加单次运行标识
新增--pipeline.run_once=true参数,该参数会让Logstash完成所有输入数据的处理、并确认全部事件已输出到目标端后,自动终止进程。
调整后的Python调用代码
logstash=subprocess.call(["docker","exec", "logstash-docker_logstash_1", "/usr/share/logstash/bin/logstash","-f", "/usr/share/logstash/pipeline/site-canvas.conf","--path.data","/usr/share/logstash/config/min-data/","--pipeline.run_once=true"])
配置校验
确认你的Logstash pipeline中jdbc输入没有配置schedule参数,你当前的配置已符合要求:无schedule的jdbc输入默认仅执行一次SQL查询,搭配--pipeline.run_once=true即可实现处理完所有数据后自动退出。
低版本兼容方案(Logstash 7.3之前)
如果使用的是不支持--pipeline.run_once的旧版本Logstash,可以在Python代码中捕获Logstash进程输出,匹配到 pipeline 处理完成的日志标识后主动终止进程即可。
内容的提问来源于stack exchange,提问作者Molusco
相关产品推荐
相关产品推荐

