如何在Cassandra服务器上查询单客户端流量画像并定位突发流量来源

• 先排除Cassandra集群内部流量：这是最容易被忽略的核心原因，业务侧监控不会统计集群内部产生的读流量，优先排查：
  • 执行nodetool tpstats查看ReadRepair相关的任务处理量，确认是否出现了大规模读修复
  • 执行nodetool netstats查看节点间数据同步、Hinted Handoff发送的流量，确认近期是否有节点宕机恢复、执行过集群repair/bootstrap操作
  • 上述内部流量如果异常上涨，和业务侧无关，优先解决集群稳定性问题即可
• 排查客户端侧未被统计的请求：
  • 优先执行nodetool clientstats，可以直接输出所有客户端IP的读/写请求总数，和业务侧上报的各IP请求数对比，快速定位哪个IP的请求量和业务侧统计不匹配
  • 常见差异原因是客户端重试风暴：业务侧监控一般只统计原始发起的请求数，不会统计失败后的自动重试请求，如果客户端配置了3-5次重试，单批次请求失败就会导致集群侧收到的流量翻3-5倍，符合你提到的业务侧无感知但集群流量突增的场景
  • 如果clientstats没有你需要的细粒度数据，直接用tcpdump抓9042端口（Cassandra原生客户端端口）的包，执行以下命令实时统计请求来源TOP：

    tshark -i any -f 'tcp port 9042' -T fields -e ip.src | sort | uniq -c | sort -nr
    

    无需依赖慢查询日志，10秒内就能输出所有客户端IP的请求量排序，定位异常来源

• 放弃每分钟执行lsof -i/netstat -tn的方案，二者只能看连接数不能关联请求量，完全无法满足定位需求
• 核心监控项配置：
  • 采集Cassandra JMX指标，重点监控org.apache.cassandra.metrics.Client.requests（按客户端IP维度聚合请求数）、读修复任务数、内部节点同步流量、重试请求占比，所有指标接入Grafana面板，流量突增时直接看面板就能区分流量类型和来源
  • 开启Cassandra轻量化审计日志，仅保留源IP、请求类型、时间戳三个维度，不记录完整查询语句，性能损耗低于5%，可长期开启，用于流量突增后的回溯定位
  • 节点侧部署轻量流量采集工具nethogs，实时监控9042端口的流量来源IP和流量占比，资源占用极低可长期后台运行

内容的提问来源于stack exchange，提问作者user2250246