Cloudera Manager Service Monitor未运行：连接拒绝问题求助

碰到这个Service Monitor未运行、firehose消息发送失败的问题别慌，咱们一步步拆解排查——从你给出的报错信息（Errno 111 Connection refused）来看，核心是CM Agent无法和Service Monitor的firehose服务端口建立通信，下面是具体的排查思路：

1. 先确认Service Monitor服务本身有没有在运行 #

首先得搞清楚Service Monitor是不是真的没启动：

• 打开Cloudera Manager控制台，在「服务」或「主机」页面直接看Service Monitor的状态，是不是显示「已停止」或者「异常」。
• 也可以登录到Service Monitor所在的主机，用命令查状态：

  sudo service cloudera-scm-servicemonitor status
  

  如果显示未运行，先尝试手动启动：

  sudo service cloudera-scm-servicemonitor start
  

  启动后记得去日志目录（默认是/var/log/cloudera-scm-servicemonitor/）看看有没有启动失败的具体原因，比如配置写错了、依赖没装好之类的。

2. 检查Service Monitor的firehose端口有没有在监听 #

Firehose用的是Avro IPC通信，默认端口一般是9995（你可以去Cloudera Manager的Service Monitor配置里找firehose_port参数确认具体端口）。在Service Monitor所在主机上执行命令，看看端口有没有被监听：

netstat -tulpn | grep 9995

或者用更现代的ss命令：

ss -tulpn | grep 9995

如果没有任何输出，说明Service Monitor根本没正常监听这个端口，要么是服务启动失败，要么是配置里的端口被改了但没生效。

3. 测试Agent到Service Monitor主机的网络连通性 #

从出现报错的CM Agent所在主机，直接测一下能不能连到Service Monitor的端口：
用telnet测试：

telnet <ServiceMonitor主机IP> 9995

或者用nc命令（更直观）：

nc -zv <ServiceMonitor主机IP> 9995

如果连不上，那就是网络层面的问题：

• 检查两台主机之间的防火墙规则，是不是Agent主机被禁止访问Service Monitor的9995端口了。
• 试试临时关闭SELinux测试：

  sudo setenforce 0
  

  如果关闭后能连上，那就要调整SELinux策略，允许这个端口的通信。

4. 核对Cloudera Manager的配置一致性 #

• 检查CM Agent的配置文件/etc/cloudera-scm-agent/config.ini，里面的firehose_host和firehose_port参数，是不是和Service Monitor的实际地址、端口完全一致。
• 去Cloudera Manager的Service Monitor配置页面，确认firehose_port参数有没有被误改，改了之后一定要重启Service Monitor才能生效。

5. 扒日志找更细节的报错 #

如果前面的步骤都没解决，就得仔细看日志找根源了：

• Service Monitor的日志：/var/log/cloudera-scm-servicemonitor/cloudera-scm-servicemonitor.log，重点看启动或者运行时的异常，比如数据库连不上、端口被别的进程占用了。
• CM Agent的日志：/var/log/cloudera-scm-agent/cloudera-scm-agent.log，找找和firehose连接相关的更多上下文信息。

小补充：如果是端口被占用，用lsof -i :9995就能找出抢端口的进程，确认是不是其他服务占了Service Monitor的端口，必要时停掉冲突进程或者修改Service Monitor的端口配置。

内容的提问来源于stack exchange，提问作者Shengxin Huang