GNN多线程推理出现Core Dumped问题的排查与解决求助

核心问题 #

1. GNN框架线程安全缺陷：PyTorch Geometric、DGL这类GNN库的图数据结构（如Data、DGLGraph）和模型实例本身并非线程安全。多线程共享同一个模型或图对象时，底层内存（比如CSR矩阵、张量缓存）会出现并发访问冲突，直接触发core dump——哪怕是只读操作，底层的隐式状态更新也会引发错误。
2. GPU多线程上下文冲突：如果用GPU推理，多线程同时发起CUDA操作时，未做上下文隔离会引发设备端资源竞争。另外，模型没设eval()模式的话，推理时可能意外开启梯度计算，多线程下的梯度缓存会导致内存崩溃。
3. 多线程图加载内存冲突：哪怕每个线程单独加载图，中图的内存占用叠加后可能触达内存分配临界值，加上线程内存开销，直接导致内存访问错误；如果加载逻辑用了共享文件句柄，多线程抢资源也会崩溃。

解决办法 #

1. 给每个线程/进程分配独立的模型和图 #

绝对不要让多个线程共享同一个模型或图实例，要么每个线程单独加载，要么提前预分配多份副本：

# 方案1：每个线程单独加载
def handle_request(node_id):
    # 每个线程独立初始化模型和图
    graph = load_your_graph()
    model = load_trained_model().eval()
    # 强制关闭梯度计算
    with torch.no_grad():
        result = model(graph, node_id)
    return result

# 方案2：提前预分配副本（适合大图，避免重复加载）
THREAD_COUNT = 4
# 初始化阶段创建对应数量的模型和图副本
graph_copies = [load_your_graph() for _ in range(THREAD_COUNT)]
model_copies = [load_trained_model().eval() for _ in range(THREAD_COUNT)]

def handle_request(node_id, thread_idx):
    graph = graph_copies[thread_idx]
    model = model_copies[thread_idx]
    with torch.no_grad():
        result = model(graph, node_id)
    return result

2. 换用进程池替代线程池 #

Python的GIL对CPU密集型任务不友好，而且GNN的底层C++实现天生和多线程兼容性差。改用ProcessPoolExecutor，每个进程有独立内存空间和CUDA上下文，彻底规避线程间资源冲突：

from concurrent.futures import ProcessPoolExecutor

def handle_request(node_id):
    # 每个进程独立加载GPU资源
    device = torch.device("cuda:0")
    graph = load_your_graph().to(device)
    model = load_trained_model().to(device).eval()
    with torch.no_grad():
        result = model(graph, node_id)
    return result

# 进程数别超GPU显存承载能力，RTX A5000按单进程占用显存估算
with ProcessPoolExecutor(max_workers=4) as executor:
    futures = [executor.submit(handle_request, node_id) for node_id in request_list]
    results = [f.result() for f in futures]

注意：别在父进程提前加载模型/图，否则子进程会复制父进程内存，导致显存翻倍。

3. 规范GPU推理流程 #

• 必须给模型加.eval()，用torch.no_grad()包裹推理逻辑，杜绝意外梯度计算。
• 给每个线程/进程分配独立CUDA流，避免CUDA操作互相阻塞：

def handle_request(node_id):
    device = torch.device("cuda:0")
    model = load_trained_model().to(device).eval()
    graph = load_your_graph().to(device)
    
    # 创建独立CUDA流
    stream = torch.cuda.Stream()
    with torch.cuda.stream(stream):
        with torch.no_grad():
            result = model(graph, node_id)
    return result

4. 调整资源配置 #

• GPU进程数：按RTX A5000的24GB显存算，单进程如果占6GB，就设max_workers=4，别超显存上限。
• CPU进程/线程数：双EPYC 7532共64核，设16-32就行，太多会导致调度开销爆炸，反而崩得更快。

5. 用core dump定位精准错误 #

开启core dump后，通过gdb分析崩溃点，能直接看到是哪行代码或库函数出问题：

# 开启core dump
ulimit -c unlimited
# 运行程序，崩溃后生成core文件
python your_server.py
# 用gdb分析
gdb python core.xxxx
# 输入bt查看调用栈
bt

内容的提问来源于stack exchange，提问作者Pranjal Naman