如何将Splunk日志同时路由至Splunk实例与TCP Socket？

1. 连接池资源竞争 #

Splunk Java SDK的SplunkService默认复用连接池，当同时发起HTTP和TCP上报请求时，TCP长连接可能占用所有连接资源，导致HTTP请求被阻塞或丢弃。

• 解决方案：为HTTP和TCP上报分别创建独立的SplunkService实例，隔离连接资源：

  // 初始化HTTP专属的Splunk服务实例
  ServiceArgs httpServiceArgs = new ServiceArgs();
  httpServiceArgs.setHost("localhost");
  httpServiceArgs.setPort(8089);
  httpServiceArgs.setUsername("admin");
  httpServiceArgs.setPassword("your_password");
  Service httpSplunkService = Service.connect(httpServiceArgs);
  Receiver httpReceiver = httpSplunkService.getReceiver();
  
  // 初始化TCP专属的Splunk服务实例（若使用SDK的TCP上报）
  ServiceArgs tcpServiceArgs = new ServiceArgs();
  tcpServiceArgs.setHost("localhost");
  tcpServiceArgs.setPort(9000);
  Service tcpSplunkService = Service.connect(tcpServiceArgs);
  Receiver tcpReceiver = tcpSplunkService.getReceiver();
  
  // 分别执行上报逻辑
  // HTTP上报
  Map<String, Object> httpArgs = new HashMap<>();
  httpArgs.put("sourcetype", "echologs_http");
  httpReceiver.log("custom_index", httpArgs, LocalDateTime.now() + " HTTP log content");
  
  // TCP上报
  Map<String, Object> tcpArgs = new HashMap<>();
  tcpArgs.put("sourcetype", "echologs_tcp");
  tcpReceiver.log("custom_index", tcpArgs, LocalDateTime.now() + " TCP log content");
  

2. 索引/ sourcetype冲突或权限问题 #

同时上报时，HTTP请求的元数据（sourcetype/索引）可能被TCP配置覆盖，或上报账号无对应索引写入权限。

• 解决方案：
  • 为两种上报方式设置不同的sourcetype（如echologs_http和echologs_tcp），避免Splunk对同一sourcetype的过滤规则干扰；
  • 在Splunk Web中检查上报账号的角色权限，确保拥有custom_index的写入权限；
  • 直接用Splunk搜索命令验证数据是否存在：search index=custom_index sourcetype=echologs_http，排除视图过滤导致的“无日志显示”假象。

3. HTTP输入被限流或拦截 #

Splunk的REST API Receiver存在请求频率、大小限制，同时上报时HTTP请求可能被限流，而TCP长连接不受影响。

• 解决方案：
  • 查看Splunk日志$SPLUNK_HOME/var/log/splunk/splunkd.log，搜索http相关的ERROR/WARN日志，确认是否有请求被拒绝；
  • 调整limits.conf中的HTTP输入参数，例如：

    [http_input]
    max_clients = 50
    max_request_size = 1048576
    

  • 在Java代码中添加异常捕获，排查请求失败原因：

    try {
        httpReceiver.log("custom_index", httpArgs, data);
    } catch (Exception e) {
        System.err.println("HTTP上报失败: " + e.getMessage());
        e.printStackTrace();
    }
    

4. 代码逻辑分支错误 #

检查应用代码是否存在条件判断错误，导致同时配置时HTTP上报的代码路径未被执行。

• 解决方案：
  • 在HTTP上报代码前后添加日志，确认代码是否被执行；
  • 调试代码，验证loginArgs参数是否正确传递，receiver.log方法是否被调用。

内容的提问来源于stack exchange，提问作者Echoinacup