通过Logstash将Airflow日志传入Elasticsearch：需修改airflow.cfg吗？

不需要修改airflow.cfg开启remote logging，原因很直接：

• 你的场景是Logstash主动读取本地Airflow日志文件——既然两者在同一EC2实例，且Logstash有权限访问日志路径，完全可以用Logstash的file输入插件直接扫描日志目录，不需要Airflow做额外配置。
• Airflow的remote logging功能是用来让Airflow主动把日志推送到远程存储/服务（比如S3、ES），和Logstash主动拉取本地日志的逻辑完全不搭边，开启它反而多此一举。

不过要注意两个细节：

• 确保Logstash的配置文件里写对了Airflow日志的具体路径（比如/opt/airflow/logs/这类），并且设置好合适的读取规则（比如start_position => "beginning"可以读取已有的历史日志）。
• 确认Logstash的运行用户有Airflow日志目录的读权限，不然会出现权限不足读不到日志的问题。

内容的提问来源于stack exchange，提问作者Miranda