K8S环境下Airflow Celery Worker CPU资源分配异常问题

一、EC2与K8S的CPU调度逻辑差异 #

• EC2物理机的CPU是超线程+共享调度：4核物理CPU通常支持8个逻辑线程，Airflow Celery的worker_concurrency=16是为I/O密集型任务设计的——多数任务处于等待外部资源（数据库、API、存储）的状态，实际CPU占用极低，所以8个逻辑线程完全能承载16个并发worker，不会出现资源耗尽。
• K8S的CPU是逻辑配额调度：你配置的CPU限制是Pod能使用的逻辑CPU核数，但你遇到的任务失败并非CPU不够，而是日志配置错误触发的报错，和并发数过高导致的日志请求激增有关。

二、并发数设为16时的报错原因 #

你看到的*** Could not read served logs: Request URL is missing an 'http://' or 'https://' protocol.错误，本质是Airflow日志服务的配置问题：

• 日志相关配置（比如log_server_url）没有填写完整的带协议前缀的URL，只填了域名或IP；
• 当并发数拉到16时，日志请求量骤增，这个配置错误被触发，导致所有任务因无法读取日志而失败，和你调整CPU限制到6没有关系。

三、解决方案 #

1. 修复日志配置：检查Airflow的airflow.cfg或K8S部署的ConfigMap，确保log_server_url等日志相关配置填写完整的URL，比如http://airflow-webserver:8080。
2. 合理设置并发数：
   • 若你的任务是I/O密集型，4核Pod完全可以设置8-12的并发（和EC2逻辑一致，利用任务等待时间），不用严格按1核1并发限制；
   • 若为CPU密集型任务，再按CPU核心数匹配并发数。
3. 优化K8S资源配置：给Worker Pod设置符合实际的CPU请求与限制，比如requests.cpu: 2（平均占用）、limits.cpu: 4（峰值占用），让K8S调度更合理。

内容的提问来源于stack exchange，提问作者zigi