Python MPI调度器缓存未命中排查：函数参数相同但哈希异常

问题背景 #

• 开发Python负载均衡MPI调度器的CacheHandler类，目标是缓存任意函数及其参数的计算结果
• 多进程MPI环境中仅主进程启用缓存，调度器提交(func, args)格式任务后返回MPIFuture对象，期望重复任务直接返回缓存的MPIFuture以避免重复计算
• 已基于cachetools、functools实现多版本缓存逻辑，也用字典做了简易版；简单MPI基准测试中缓存正常命中，但集成到主MPI应用代码后完全无法命中

异常现象 #

• 新增调试代码后确认：两次提交的函数对象、参数内容完全相同，但包含二者的元组(func, args)的哈希值却不一致
• 无法在最小测试用例中复现该异常

已尝试的排查与修复措施 #

• 用func.__name__替代函数对象本身作为缓存键的一部分
• 将args转为元组后通过序列化（如pickle）生成缓存键
• 以上方法均未解决缓存命中问题

相关代码与输出 #

简易版CacheHandler实现 #

class CacheHandler:
    def __init__(self):
        self.cache = {}
    
    def get_or_submit(self, func, args):
        key = (func, args)
        # 调试打印
        print(f"Key hash: {hash(key)}, Func id: {id(func)}, Args: {args}, Args id: {id(args)}")
        if key in self.cache:
            return self.cache[key]
        # 调度器提交任务逻辑
        future = self.scheduler.submit(func, args)
        self.cache[key] = future
        return future

调试输出示例（主应用中两次相同任务的输出） #

Key hash: 456789, Func id: 140123456789012, Args: (100, "test"), Args id: 140123456789045
Key hash: 987654, Func id: 140123456789012, Args: (100, "test"), Args id: 140123456789078

最小测试用例（无法复现异常） #

from mpi4py import MPI
import time

def demo_func(a, b):
    time.sleep(0.5)
    return a * b

if __name__ == "__main__":
    comm = MPI.COMM_WORLD
    rank = comm.Get_rank()
    
    if rank == 0:
        class SimpleCache:
            def __init__(self):
                self.cache = {}
            
            def get_or_run(self, func, args):
                key = (func, args)
                print(f"Hash: {hash(key)}, Func id: {id(func)}")
                if key in self.cache:
                    return self.cache[key]
                res = func(*args)
                self.cache[key] = res
                return res
        
        cache = SimpleCache()
        res1 = cache.get_or_run(demo_func, (5, 6))
        res2 = cache.get_or_run(demo_func, (5, 6))
        print(f"Cache hit: {res1 is res2}")  # 输出True
    comm.Barrier()

请求排查思路 #

希望得到以下方向的具体排查建议：

• 多进程MPI环境中，函数/参数对象内容相同但哈希不同的潜在原因
• MPI运行时可能导致对象标识、哈希值隐性变化的机制
• 缓存键设计的盲区（比如可变参数的隐式修改、对象序列化的差异）
• 在无法复现最小用例的情况下，如何逐步定位主应用中的问题

内容的提问来源于stack exchange，提问作者Marcel Ferrari