kubectl get all返回Throttling request错误的调试与解决方法
问题本质说明
Throttling request是kubectl客户端内置的客户端侧限流模块打出的信息级日志,并非k8s apiserver主动返回的限流报错。kubectl依赖client-go的内置限流器控制请求发送频率,默认阈值为QPS=5、Burst=10——即每秒最多处理5个请求,最多同时容纳10个待发送的突发请求,超出阈值的请求会在本地排队等待,日志记录的就是每个请求在本地排队等待的耗时。
从给出的日志可以看到,随着排队等待时间从1s逐步增长到8s,客户端请求队列已经出现堆积,本质是待发送的请求量超过了当前限流阈值的消化能力。
注:该日志为信息级记录,不代表命令执行失败。如果最终kubectl get all能正常返回结果,仅存在数秒的等待时间,无需特殊处理;只有当累计排队时间超过命令超时阈值、最终返回执行报错时,才需要按流程排查根因。
标准化调试流程
- 第一步:排查直连apiserver的基础时延
直接使用集群认证信息,通过curl访问日志中报错的apiserver地址(https://192.168.64.2:8443)下的对应API路径,记录单请求的响应时延。如果直连时延普遍在秒级以上,说明根因来自apiserver端的性能瓶颈,而非客户端本地限流逻辑。 - 第二步:确认请求堆积的原因
统计执行kubectl get all需要发起的请求数量:该命令会遍历集群中所有已注册的API group(包括内置核心组、第三方CRD组),挨个探测每个组下的资源是否存在,单集群通常会发起数十个独立GET请求,很容易触发本地限流器的队列上限。 - 第三步:确认链路层面的问题
测试kubectl运行所在节点到apiserver的网络连通性与丢包率,如果链路延迟超过100ms、存在持续丢包,会进一步放大请求堆积的影响。
针对性修复方案
- 针对本地限流阈值过低导致的排队
调整kubectl的客户端限流参数,无需修改集群侧配置。执行命令时显式指定更高的QPS和Burst值:kubectl get all --qps 50 --burst 100
如需全局生效,可将参数写入shell环境变量:export KUBECTL_QPS=50export KUBECTL_BURST=100
配置后所有kubectl命令会使用新的限流阈值,不会因本地队列打满打出throttling日志。 - 针对集群内CRD注册过多导致的请求量激增
若集群安装了大量第三方Operator、注册了数十个CRD组,全量遍历API组的请求量会大幅增加:- 优先升级kubectl版本到1.25及以上,该版本的kubectl会缓存已经探测过的API group列表,不会每次执行命令都重复遍历所有组,可直接减少80%以上的无效探测请求。
- 避免使用全量遍历的
kubectl get all命令,改为显式指定需要查询的资源类型,例如kubectl get pods,svc,deploy,ingress,从源头减少待发送的请求数。
- 针对apiserver/etcd性能不足导致的请求堆积
当apiserver本身响应慢时,哪怕有限流控制,请求也无法被快速消化,队列会持续变长:- 检查apiserver容器的CPU、内存水位,排查是否存在CPU打满、内存不足的情况。
- 检查etcd的运行状态,确认磁盘写入延迟、慢查询数量是否在正常范围,避免etcd成为响应瓶颈。
- 排查kubectl运行节点到apiserver的网络链路,修复丢包、高延迟的问题,保障单请求的基础时延在100ms以内。
内容的提问来源于stack exchange,提问作者DhimanHarry
相关产品推荐
相关产品推荐

