如何获取Service Fabric总节点数并实现服务可用性指标上报

核心需求 #

为Service Fabric服务创建可用性指标：

• 所有应运行服务的节点状态正常 → 上报OK状态
• 仅单个节点故障（未运行服务或节点宕机）→ 上报Warning状态
• 两个及以上节点故障 → 上报Error状态

当前代码的问题 #

1. 总节点数判断错误：直接用集群所有节点数作为基准，但服务可能仅部署在集群部分节点上，会导致故障判断逻辑失真。
2. 故障节点计数逻辑错误：原代码的区间判断无法精准识别单节点故障，应该基于实际应运行服务的节点数计算故障数量。
3. 缺少指标上报实现：仅保留注释，没有具体的指标上报逻辑。
4. 资源浪费：循环内重复创建FabricClient，应复用实例提升性能。
5. 效率低下：逐个节点查询部署应用，可通过直接查询应用的所有部署节点优化。

修正后的代码实现 #

private FabricClient _fabricClient; // 复用FabricClient实例

public async Task LogServiceFabricHealthMetrics(ServiceContext serviceContext, CancellationToken cancellationToken)
{
    _fabricClient = new FabricClient();
    var applicationName = serviceContext.CodePackageActivationContext.ApplicationName;
    var serviceManifestName = serviceContext.ServiceManifestName;

    while (!cancellationToken.IsCancellationRequested)
    {
        try
        {
            // 获取所有部署了当前应用的节点（即服务应运行的目标节点）
            var deployedApplications = await _fabricClient.QueryManager.GetDeployedApplicationListAsync(applicationName);
            var targetNodeCount = deployedApplications.Count;
            if (targetNodeCount == 0)
            {
                await Task.Delay(TimeSpan.FromHours(this.interval));
                continue;
            }

            // 统计健康节点数：节点状态Up + 服务包激活状态正常
            int healthyNodeCount = 0;
            foreach (var deployedApp in deployedApplications)
            {
                var node = await _fabricClient.QueryManager.GetNodeAsync(deployedApp.NodeName);
                if (node.NodeStatus != System.Fabric.Query.NodeStatus.Up)
                    continue;

                var deployedServices = await _fabricClient.QueryManager.GetDeployedServicePackageListAsync(deployedApp.NodeName, applicationName);
                bool isServiceHealthy = deployedServices.Any(s => 
                    s.ServiceManifestName == serviceManifestName &&
                    s.ServicePackageActivationStatus == System.Fabric.Query.ServicePackageActivationStatus.Active);

                if (isServiceHealthy)
                    healthyNodeCount++;
            }

            // 判断指标状态并上报
            int failedNodeCount = targetNodeCount - healthyNodeCount;
            string metricStatus;
            double metricValue;

            if (failedNodeCount == 0)
            {
                metricStatus = "OK";
                metricValue = 1;
            }
            else if (failedNodeCount == 1)
            {
                metricStatus = "Warning";
                metricValue = 0.75;
            }
            else
            {
                metricStatus = "Error";
                metricValue = 0.5;
            }

            // 执行指标上报
            ReportServiceAvailabilityMetric(metricValue, metricStatus);
        }
        catch (Exception ex)
        {
            Console.WriteLine($"获取服务健康状态失败: {ex.Message}");
        }

        await Task.Delay(TimeSpan.FromHours(this.interval));
    }
}

// 指标上报示例（根据实际监控系统替换实现）
private void ReportServiceAvailabilityMetric(double value, string status)
{
    // 示例：输出到控制台，实际可替换为Application Insights、Prometheus等逻辑
    Console.WriteLine($"[{DateTime.UtcNow}] 服务可用性指标: 值={value}, 状态={status}");
    
    // Application Insights上报示例：
    // var telemetry = new TelemetryClient();
    // telemetry.TrackMetric("ServiceAvailability", value, new Dictionary<string, string> { { "Status", status } });
}

关键优化说明 #

• 复用FabricClient：避免频繁创建客户端实例，减少资源开销。
• 精准目标节点数：通过应用部署列表获取服务应运行的节点数，避免用集群总节点数误判。
• 双重健康校验：同时验证节点状态和服务包激活状态，确保节点真正健康运行服务。
• 明确故障计数：直接计算故障节点数量，避免模糊的区间判断逻辑。
• 异常防护：添加异常捕获，防止单次查询失败导致监控循环终止。

内容的提问来源于stack exchange，提问作者Aarti Jangid