i.MX6ULL平台Linux5.10.9 CFS调度器崩溃问题调试求助

根因概率判断 #

• 树外驱动缺陷引发故障的概率超过90%：当前系统加载了多个标记为O的树外驱动模块，故障表现符合驱动踩内存的典型特征：首次红黑树损坏发生在系统启动idle调度流程，最终崩溃却在sdio_irq_work对应的kworker上下文触发，故障触发点和实际内存破坏点存在时间差、上下文差，是越界写、野指针写类问题的核心标识。
• Linux 5.10.9版本内核原生CFS/红黑树逻辑存在已知bug的概率极低：5.10为长期支持稳定版本，5.10.9发布节点CFS红黑树核心逻辑已经过多年量产验证，主线该版本区间无未修复的、会随机导致CFS运行队列红黑树损坏的公开问题。

有效调试手段 #

内存破坏类问题优先排查手段 #

• 第一步做树外驱动隔离：逐个禁用/卸载树外驱动，优先排查SDIO相关、注册了irq_work/workqueue回调的驱动，每次仅保留一个树外驱动启动测试，可快速锁定肇事模块。
• 打开内核内存调试配置：开启CONFIG_DEBUG_SLAB、CONFIG_SLUB_DEBUG、CONFIG_DEBUG_PAGEALLOC、CONFIG_DEBUG_OBJECTS、CONFIG_KASAN（如果Flash/内存空间足够）选项，这类配置会在内存越界写、野指针写发生的第一时间触发panic，直接打印肇事指令地址与调用栈，不需要等到调度器数据结构被破坏后才报错，可直接定位到内存破坏的第一现场。

调度器与红黑树定向调试手段 #

• 强化红黑树校验埋点：在现有RBTREE_DEBUG校验的基础上，在__enqueue_entity()、__dequeue_entity()两个CFS红黑树操作函数的入口、出口位置，打印当前cfs_rq的nr_running计数、curr/next/last/skip指针、rbtree根节点、rb_leftmost缓存值、当前操作的sched_entity指针、当前进程comm与pid、调用栈，一旦检测到rb_first_cached()返回值和rb_first()遍历结果不一致，立刻触发panic保留现场，避免后续操作破坏第一现场。
• 打开调度器调试配置：开启CONFIG_SCHED_DEBUG、CONFIG_SCHEDSTATS，挂载debugfs后实时读取cfs_rq的运行状态、节点计数，捕捉计数与实际结构不一致的最早时间点。

低概率硬件问题排查 #

• 运行i.MX6ULL官方DDR压力测试工具校验内存稳定性，排除DDR硬件参数配置错误、硬件不稳定导致的内存随机翻转问题，这类硬件问题也会表现为随机的内核数据结构损坏。

关键判定依据 #

当前抓取的故障现场中，cfs_rq->nr_running、cfs_rq->h_nr_running计数为1，但红黑树根节点、rb_leftmost指针、curr/next等实体指针全为NULL，不属于CFS调度器自身逻辑bug会产生的现场：调度器自身逻辑错误只会导致红黑树结构错乱、计数和节点数不匹配，不会出现计数正确但整个队列结构被覆写为NULL的情况，这类表现几乎都是外部路径非法写内存导致。

内容的提问来源于stack exchange，提问作者Rock Deng