Python 3.6中如何关联Python线程与POSIX线程？

1. 从threading.Thread对象获取POSIX线程ID #

Python线程底层基于POSIX线程，可以用ctypes直接调用系统库的pthread_self()函数获取当前线程的POSIX ID，再把这个值绑定到自定义的线程对象属性上。

示例代码：

import threading
import ctypes

# 加载系统的pthread库
libpthread = ctypes.CDLL('libpthread.so.0')
libpthread.pthread_self.restype = ctypes.c_ulong

class TrackedThread(threading.Thread):
    def run(self):
        # 获取当前线程的POSIX ID并保存
        self.native_id = libpthread.pthread_self()
        super().run()

# 测试使用
def worker():
    pass

t = TrackedThread(target=worker, name="DataProcessor")
t.start()
t.join()
print(f"Python线程名: {t.name}, Python线程ID: {t.ident}, POSIX线程ID: {t.native_id}")

注意：pthread_self()只能获取当前线程的ID，必须在线程的执行代码里调用并保存。

2. 关联psutil的pthread对象与Python线程ID #

先用psutil列出进程的所有POSIX线程，再在Python线程内部维护一个POSIX ID到Python线程ID、名称的映射字典，就能实现双向关联。

示例思路：

import threading
import psutil
import ctypes
from collections import defaultdict

libpthread = ctypes.CDLL('libpthread.so.0')
libpthread.pthread_self.restype = ctypes.c_ulong

# 全局映射字典：POSIX线程ID -> {Python线程ID, 线程名}
thread_map = defaultdict(dict)

class TrackedThread(threading.Thread):
    def run(self):
        posix_tid = libpthread.pthread_self()
        thread_map[posix_tid] = {
            'python_tid': self.ident,
            'name': self.name
        }
        super().run()
        # 线程退出后可选移除映射
        del thread_map[posix_tid]

# 启动线程后，用psutil获取当前进程的线程列表
current_process = psutil.Process()
for thread in current_process.threads():
    posix_tid = thread.id
    if posix_tid in thread_map:
        print(f"POSIX线程ID: {posix_tid} → Python线程ID: {thread_map[posix_tid]['python_tid']}, 线程名: {thread_map[posix_tid]['name']}")

3. 设置/proc中可见的线程属性 #

修改线程comm名称（/proc/<pid>/task/<tid>/comm） #

Linux允许修改线程的comm名称，这个名称会显示在/proc目录下的对应线程文件里，也能被top这类工具识别。用ctypes调用pthread_setname_np就能设置，直接用Python线程名作为标识即可。

示例代码：

import threading
import ctypes

libpthread = ctypes.CDLL('libpthread.so.0')
# pthread_setname_np参数：当前线程传None，名称最多15字节
libpthread.pthread_setname_np.argtypes = [ctypes.c_void_p, ctypes.c_char_p]

class NamedThread(threading.Thread):
    def run(self):
        # 截取前15字节避免超出限制
        thread_name = self.name.encode('utf-8')[:15]
        libpthread.pthread_setname_np(None, thread_name)
        super().run()

# 测试
t = NamedThread(target=lambda: None, name="NetworkWorker")
t.start()
t.join()

设置完成后，执行cat /proc/$(pidof python)/task/<tid>/comm就能看到设置的线程名，直接关联到Python线程。

4. 其他实用方法 #

日志关联 #

在Python线程的入口处，同时打印Python线程ID、名称和POSIX线程ID到日志文件，后续通过日志内容直接关联两者。如果需要外部查看，也可以把这些信息输出到syslog或者自定义日志中。

信号触发关联 #

给Python线程注册自定义信号处理函数，当外部用kill -SIGUSR1 <posix_tid>发送信号时，线程主动打印自己的Python线程信息。这种方式适合调试场景，需要root权限发送线程信号。

内容的提问来源于stack exchange，提问作者Tom