如何查看Logstash的DLQ消息？配置后无消息问题排查

你遇到的核心问题是Elasticsearch返回的400错误消息未进入DLQ，主要是遗漏了output插件的失败动作配置，以下是具体排查点和解决办法：

1. 必须在Elasticsearch Output中配置失败动作 #

Logstash全局开启DLQ后，还需要在具体的output插件里明确指定将失败消息发送到DLQ。默认情况下，Elasticsearch output遇到4xx错误不会自动转发到DLQ，需要添加action_on_failure配置：

output {
  elasticsearch {
    # 你的ES连接基础配置（hosts、index等）
    hosts => ["http://es-host:9200"]
    index => "your-index-%{+YYYY.MM.dd}"
    # 关键配置：将失败消息发送到DLQ
    action_on_failure => ["send_to_dead_letter_queue"]
  }
}

这个配置会让所有发送ES失败的消息（包括字段数超限的400错误）被写入DLQ。

2. 确认Pipeline未禁用DLQ #

检查你的pipelines.yml配置文件，确保目标pipeline没有单独禁用DLQ（该配置会覆盖全局设置）：

- pipeline.id: your-pipeline-id
  path.config: "/path/to/your/pipeline.conf"
  # 确保没有这行配置，存在则会关闭当前pipeline的DLQ
  # dead_letter_queue.enable: false

3. 验证DLQ目录权限 #

检查/usr/share/logstash/data/dead_letter_queue目录的权限，确保Logstash进程（通常是logstash用户）有读写权限：

ls -ld /usr/share/logstash/data/dead_letter_queue

如果权限不足，执行以下命令修正：

chown -R logstash:logstash /usr/share/logstash/data/dead_letter_queue

4. 确认消息已到达Logstash #

查看Logstash日志（默认路径/var/log/logstash/logstash-plain.log）：

• 搜索是否存在该400错误的日志记录，确认消息确实被Logstash接收并尝试发送到ES
• 搜索dead_letter_queue相关日志，排查是否有写入失败的报错

内容的提问来源于stack exchange，提问作者dark ninja