如何排查Ignite系统条带线程长时间等待导致的应用无响应问题

Thread=[name=sys-stripe-18-#19%xyz-core-server%, id=56], state=WAITING
Locked pages = []
Locked pages log: name=sys-stripe-18-#19%xyz-core-server% time=(1666937416364, 2022-10-28 14:10:16.364)
-> Try Write lock nextOpPageId=844420635195025, nextOpStructureId=default-p-818##CacheData [pageIdHex=0002ffff00007691, partId=65535, pageIdx=30353, flags=00000002]

问题背景 #

上述为Ignite节点日志，线程sys-stripe-18-#19%xyz-core-server%（ID=56）长期处于WAITING状态，疑似引发应用无响应。已尝试分析日志，需获取具体排查方法。

1. 定位锁竞争根源 #

• 从日志提取核心信息：线程等待default-p-818##CacheData缓存中pageId=844420635195025的写锁，明确锁对象为分区818的指定页面。
• 执行Ignite控制命令：用control.sh --locks（Linux）或control.bat --locks（Windows）列出节点所有锁的持有情况，确认是否有其他线程长期占用该页面的读/写锁。

2. 分析线程栈与阻塞链路 #

• 生成线程Dump：执行jstack <Ignite进程PID>，找到ID=56的线程，查看其调用栈，确认等待的锁类型（如PageLock、事务锁）及代码位置。
• 关联持有锁的线程：在Dump中搜索pageId=844420635195025或default-p-818，定位持有该锁的线程，检查其是否处于死循环、阻塞或长时间执行状态（如大查询、批量数据操作）。

3. 检查缓存与分区配置及负载 #

• 查看缓存配置：确认default-p-818的事务隔离级别（如是否为SERIALIZABLE）、并发模式（如PESSIMISTIC_EXCLUSIVE），过高的隔离级别或排他性并发模式易引发锁竞争。
• 监控分区负载：通过Ignite控制台或JMX指标（IgniteCacheMetrics）查看分区818的读写QPS、事务数量、锁等待时长，判断是否为热点分区（请求集中导致锁竞争加剧）。

4. 排查磁盘IO瓶颈 #

• 检查节点磁盘状态：用iostat、vmstat工具查看磁盘读写速率、IO等待时间，若磁盘IO负载过高，会导致页面刷写/加载缓慢，间接延长锁等待时间。
• 查看页面存储日志：检查ignite/work/logs/page-store.log，是否存在页面读写超时、磁盘空间不足等异常，这类问题会阻塞锁释放流程。

5. 验证应用侧事务与数据操作 #

• 排查长事务：检查应用中操作default-p-818缓存的事务，是否存在未及时提交/回滚的长事务，长事务会持续持有锁导致其他线程等待。
• 检查批量操作：确认是否有针对该分区的大规模插入、更新或查询，这类操作会长时间占用锁资源，引发线程阻塞。

6. 排查版本BUG与补丁 #

• 核对Ignite版本：查看官方发行说明，确认当前版本是否存在页面锁、线程调度相关的已知BUG，必要时升级至稳定版本或应用对应补丁。

内容的提问来源于stack exchange，提问作者VS J