你碰到的是典型的容器间内核资源竞争问题——Kafka严重依赖页缓存（Page Cache）来提升消息吞吐、降低延迟，而Cassandra的高频率磁盘写入会持续抢占系统页缓存，同时拖慢磁盘IO，最终导致Kafka性能下滑。下面是几个针对性的解决方案，都是基于Kubernetes的cgroup机制和资源管理特性来实现的：

1. 给Kafka Pod设置Guaranteed QoS等级，锁定内存资源 #

Kubernetes的QoS（服务质量）等级直接决定了内核对Pod内存的回收优先级：

• 当Pod的memory request和memory limit设置为相同值时，会被标记为Guaranteed等级
• 内核在回收页缓存或内存时，会优先针对Burstable/BestEffort等级的Pod（比如未严格配置资源的Cassandra）进行回收

具体配置示例：

apiVersion: v1
kind: Pod
metadata:
  name: kafka-broker
spec:
  containers:
  - name: kafka
    image: confluentinc/cp-kafka:latest
    resources:
      requests:
        memory: "16Gi"
        cpu: "4"
      limits:
        memory: "16Gi"
        cpu: "4"

这样配置后，Kafka的内存（包括它依赖的页缓存）会被内核优先保护，不会轻易被Cassandra的IO操作抢占。

2. 限制Cassandra的内存占用，避免无限制抢占页缓存 #

虽然Cassandra自身进程内存占用不高，但它的磁盘写入会产生大量页缓存占用。你可以通过设置Cassandra的内存限制，把它的总内存（进程内存+页缓存）控制在合理范围：

• 给Cassandra设置memory limit，让内核强制限制它能使用的内存上限
• 如果使用cgroup v2，还可以通过额外配置memory.high参数（软限制），在系统内存紧张时触发Cassandra的内存回收，避免影响Kafka

配置示例：

apiVersion: v1
kind: Pod
metadata:
  name: cassandra-node
spec:
  containers:
  - name: cassandra
    image: cassandra:latest
    resources:
      requests:
        memory: "8Gi"
        cpu: "2"
      limits:
        memory: "8Gi"
        cpu: "2"

这里的memory limit会限制Cassandra的进程内存+页缓存的总占用，防止它吞噬系统可用的页缓存资源。

3. 配置磁盘IO优先级，隔离Kafka与Cassandra的磁盘资源 #

Cassandra的高频率写入不仅抢占页缓存，还会占用磁盘IO带宽，导致Kafka的磁盘操作延迟升高。你可以通过cgroup的blkio子系统给Kafka设置更高的IO优先级：

• 使用ionice命令调整Pod进程的IO调度优先级：Kafka设置为实时类（class 1），优先级0；Cassandra设置为尽力而为类（class 2），优先级7
• 可以通过Init容器或者Pod的securityContext来执行配置：

示例（用Init容器设置IO优先级）：

apiVersion: v1
kind: Pod
metadata:
  name: kafka-broker
spec:
  initContainers:
  - name: set-io-priority
    image: busybox:latest
    command: ["sh", "-c", "ionice -c 1 -n 0 -p 1"]
    securityContext:
      privileged: true
  containers:
  - name: kafka
    image: confluentinc/cp-kafka:latest
    # ...其他配置

这样Kafka的磁盘IO请求会被内核优先处理，减少Cassandra写入带来的IO延迟影响。

4. 监控页缓存使用，验证问题根源与优化效果 #

在调整配置前，先确认页缓存竞争确实是问题根源：

• 进入Kafka Pod执行cat /sys/fs/cgroup/memory/memory.stat（cgroup v1），查看total_cache字段的数值变化
• 监控Kafka的关键指标：MessagesInPerSec（吞吐率）、LogFlushLatencyMs（刷盘延迟）、PageCacheHitRatio（页缓存命中率）
• 对比Cassandra启动前后的这些指标，确认性能下降与页缓存占用的关联

5. 调整Cassandra自身配置，降低磁盘IO压力 #

从应用层优化Cassandra的写入行为，减少对系统资源的消耗：

• 修改cassandra.yaml中的commit_sync为periodic，设置commit_sync_period_in_ms: 1000，避免每次写入都同步磁盘
• 给Cassandra使用SSD磁盘，降低IO等待时间，减少页缓存的持续占用
• 调整Cassandra的memtable_flush_writers数量，优化内存到磁盘的写入效率

内容的提问来源于stack exchange，提问作者kellanburket