Logstash无法将数据加载至Elasticsearch索引求助

问题背景 #

已在Elasticsearch中创建sonicwall索引，映射配置如下：

PUT sonicwall
{
  "mappings":{
    "properties":{
      "Time": { "type":"text"},
      "Category": { "type":"text"},
      "Group": { "type":"text"},
      "Event":{"type":"text"},
      "Priority":{"type":"text"}
    }
  }
}

Logstash配置文件如下：

input{
    file{
        path => "C:/Elastic/logsPrueba/log3.csv"
        start_position => beginning
    }
}
filter{
    csv{
        separator => ","
        columns => ["Time","Category","Group","Event","Priority"]
    }
}
output{
    elasticsearch{
        hosts => ["localhost:9200"]
        index => "sonicwall"
    }
    stdout {}
}

运行Logstash后，数据无法加载至sonicwall索引，以下是具体排查步骤：

排查步骤 #

1. 检查Logstash运行日志 #

查看Logstash控制台输出或日志文件（Windows默认路径：C:\Program Files\Elastic\Logstash\logs\logstash-plain.log），定位具体报错：

• 若出现_csvparsefailure标签，说明CSV格式解析错误；
• 若出现ES连接超时/拒绝，说明网络或ES服务异常；
• 若出现权限报错，说明Logstash无ES索引写入权限。

2. 验证CSV文件有效性 #

• 确认CSV列数与Logstash配置的columns完全匹配，无多余逗号、空行或未转义的引号；
• 检查文件编码，若CSV为非UTF-8编码（如GBK），需在file输入中添加编码配置：

  file{
      path => "C:/Elastic/logsPrueba/log3.csv"
      start_position => beginning
      codec => plain { charset => "GBK" } # 根据实际编码调整
  }
  

3. 修正Logstash file输入的读取逻辑 #

• start_position => beginning仅在首次读取文件时生效，若Logstash已读取过该文件，会在.sincedb文件中记录读取位置。可删除对应sincedb文件（Windows路径：C:\Users\<你的用户名>\.sincedb_*），或添加sincedb_path => "NUL"强制重新读取：

  file{
      path => "C:/Elastic/logsPrueba/log3.csv"
      start_position => beginning
      sincedb_path => "NUL"
  }
  

• 确认文件路径正确，且Logstash进程拥有该文件的读取权限（避免放在需管理员权限的目录）。

4. 验证Elasticsearch连接与索引权限 #

• 在Kibana Dev Tools中执行GET /sonicwall/_count，确认索引存在且可访问；
• 若ES开启了安全功能，需在Logstash的elasticsearch输出中添加账号密码：

  elasticsearch{
      hosts => ["localhost:9200"]
      index => "sonicwall"
      user => "your_username"
      password => "your_password"
  }
  

5. 隔离测试管道环节 #

暂时注释elasticsearch输出，仅保留stdout，运行Logstash查看控制台输出：

• 若能正常显示解析后的CSV字段，说明问题出在ES输出环节；
• 若无输出，说明输入或CSV过滤环节存在问题，需进一步排查文件读取或解析逻辑。

内容的提问来源于stack exchange，提问作者Botellita Taponzito