使用Puppet执行Splunk UF重启命令超时：首次失败，二次运行成功

环境与问题描述 #

• 服务器：SUSE 12.3
• Splunk Universal Forwarder版本：9.0.0 build 6818ac46f2ec
• Puppet部署流程：
  • 下载安装包
  • 执行splunk start --accept-license
  • 执行splunk enable boot-start -systemd-managed 0
  • 执行splunk set deploy-poll <部署服务器>:8089
• 问题：首次运行Puppet Agent时，splunk restart命令超时失败，第二次运行Puppet Agent则执行成功。

问题原因分析 #

1. Splunk首次启动未完全就绪：首次启动Splunk UF后，服务可能还在初始化（加载配置、生成必要文件），此时立即执行重启命令会导致进程响应缓慢，触发Puppet的exec超时。
2. Puppet Exec默认超时时间不足：Puppet的exec资源默认超时时间为300秒，Splunk UF首次重启可能需要更长时间完成初始化。
3. 重启触发条件不合理：当前用creates判断.splunk.restarted文件是否存在，第一次重启超时后文件未生成，第二次运行时该条件依然满足，但此时Splunk已经处于就绪状态，重启能顺利完成。

解决方案 #

方案1：延长Exec超时时间 #

给重启的Exec资源增加timeout参数，延长允许的执行时间：

exec { 'Restart splunk service':
  command   => "${splunkforwarder::params::splunk_home}/bin/splunk restart",
  path      => "${splunkforwarder::params::splunk_home}/bin",
  cwd       => "${splunkforwarder::params::splunk_home}/bin",
  creates   => "${splunkforwarder::params::splunk_home}/.splunk.restarted",
  require   => Exec['enable splunk at boot'],
  timeout   => 600, # 延长至10分钟，可根据实际情况调整
}

方案2：替换重启为重载（推荐） #

Splunk支持reload命令，无需完全停止服务即可加载新配置，比restart更快，能避免超时问题：

exec { 'Reload splunk service':
  command   => "${splunkforwarder::params::splunk_home}/bin/splunk reload",
  path      => "${splunkforwarder::params::splunk_home}/bin",
  cwd       => "${splunkforwarder::params::splunk_home}/bin",
  creates   => "${splunkforwarder::params::splunk_home}/.splunk.reloaded",
  require   => Exec['enable splunk at boot'],
  onlyif    => "${splunkforwarder::params::splunk_home}/bin/splunk status | grep -q 'is running'",
}

方案3：增加就绪等待步骤 #

在重启前先等待Splunk服务完全就绪，确保服务能正常响应命令：

# 等待Splunk服务就绪
exec { 'Wait for splunk ready':
  command   => "${splunkforwarder::params::splunk_home}/bin/splunk status",
  path      => "${splunkforwarder::params::splunk_home}/bin",
  tries     => 10, # 最多尝试10次
  try_sleep => 10, # 每次尝试间隔10秒
  require   => Exec['enable splunk at boot'],
}

exec { 'Restart splunk service':
  command   => "${splunkforwarder::params::splunk_home}/bin/splunk restart",
  path      => "${splunkforwarder::params::splunk_home}/bin",
  cwd       => "${splunkforwarder::params::splunk_home}/bin",
  creates   => "${splunkforwarder::params::splunk_home}/.splunk.restarted",
  require   => Exec['Wait for splunk ready'],
  timeout   => 600,
}

方案4：优化重启触发逻辑 #

如果重启是为了加载user-seed.conf的配置，可直接依赖该文件的变更，通过Service资源的重启来替代单独的Exec：

# 确保Service资源已定义
service { $splunkforwarder::params::service_name:
  ensure => running,
  enable => true,
}

file { "${splunkforwarder::splunk_home}/etc/system/local/user-seed.conf":
  content  => template('splunkforwarder/user-seed.conf.erb'),
  notify   => Service[$splunkforwarder::params::service_name], # 配置变更自动触发服务重启
  mode     => '0600',
  owner    => 'root',
  group    => 'root',
}

# 移除原有的单独Restart splunk service Exec资源

内容的提问来源于stack exchange，提问作者learner