Cassandra配置过高compaction/streaming吞吐量值的影响有哪些？

首先明确：将这几个吞吐量参数设置到10000的量级必然会引发读写超时等严重负面影响，尤其在搭配HDD存储的节点上问题会更突出，具体原因和风险如下：

1. 压缩吞吐量参数过高的风险 #

compaction_throughput_mb_per_sec的作用是限制Cassandra后台压缩任务的磁盘IO速率，默认16MB/s是为了避免压缩任务抢占业务读写的IO资源。

• 你设置的10000MB/s相当于完全解除了压缩的IO限制，当大量压缩任务触发时，会占满磁盘的可用IO：
  • HDD的顺序读写上限通常只有100~200MB/s，随机IO性能更差，压缩任务占满IO后，业务读写请求会在IO队列中长时间排队，直接触发CQL读写超时，严重时甚至会阻塞集群内部心跳，导致节点被标记为下线。
  • 即便是SSD存储，当压缩吞吐量达到磁盘上限时，同样会抢占业务IO资源，引发延迟升高甚至超时。

2. 流传输吞吐量参数过高的风险 #

stream_throughput_outbound_megabits_per_sec和inter_dc_stream_throughput_outbound_megabits_per_sec是限制节点间数据同步（包括集群修复、节点扩容/缩容、副本同步等场景）的网络带宽阈值。

• 10000Mbps的配置远超过大多数服务器的网卡/专线带宽：
  • 同DC场景下如果服务器是千兆网卡，上限仅为1000Mbps，带宽被流任务占满后，业务请求、集群Gossip心跳、读写请求转发都无法正常传输，会出现大量超时甚至节点失联。
  • 跨DC场景通常带宽更低，无限制的流传输会直接占满跨DC专线，导致跨DC的业务请求完全不可用。

合理的参数调整建议 #

• 压缩吞吐量：根据存储介质分别设置，HDD节点建议设置为磁盘最大顺序吞吐量的30%_{50%，通常为32}64MB/s；SSD节点可设置为200~500MB/s，不要超过磁盘顺序读写上限的60%。
• 流吞吐量：同DC流带宽设置为网卡可用带宽的50%以内，千兆网卡建议设为500Mbps，万兆网卡可设为2000~5000Mbps；跨DC流带宽需根据专线可用容量设置，不要超过专线带宽的50%。
• 注意：通过nodetool调整的参数为临时生效，节点重启后会恢复为cassandra.yaml中的配置，如需永久生效需要同步修改配置文件。

内容的提问来源于stack exchange，提问作者Klun