Numba中疑似内存覆盖引发列表异常的问题求助

问题重现代码 #

import numba

@numba.njit
def foo():
  lst1 = [[1,2,3,4,5], [6,7,8,9,10]]

  for i in range(300):
    lst2 = []
    lst2.append(1)

    del lst1[1]
    del lst1[0]

    lst1.append([1,2,3,4,5])
    lst1.append([6,7,8,9,10])

    if len(lst2) > 1:
      print("This should never print!")
      print("Length of lst2(should not ever be greater than 1): ", len(lst2))

for i in range(200):
  foo()

问题原因 #

这是Numba在njit模式下对原生Python列表内存管理的优化导致的异常。Numba为提升性能，会对内存块进行复用：当你通过del删除lst1中的元素时，对应的内存块会被标记为可回收；后续创建lst2时，Numba可能直接复用这块内存，而内存中残留了之前lst1元素的长度信息（比如原列表长度为5），导致lst2的长度被错误读取为5，尽管实际只执行了一次append操作。

原生Python列表在Numba的JIT编译环境中并未被完全兼容，其底层内存布局和管理逻辑被简化以换取性能，这种简化在频繁创建、销毁、复用内存的场景下会触发边界异常。

解决方案 #

1. 使用Numba类型安全的typed.List

Numba提供的numba.typed.List是专为JIT编译优化设计的类型化列表，内存管理更严谨，不会出现原生列表的内存复用异常：

import numba
from numba.typed import List
from numba import int64

@numba.njit
def foo():
    # 创建类型化的lst1，指定内部元素为int64类型列表
    lst1 = List()
    lst1.append(List([1,2,3,4,5], dtype=int64))
    lst1.append(List([6,7,8,9,10], dtype=int64))

    for i in range(300):
        lst2 = List()
        lst2.append(1)

        del lst1[1]
        del lst1[0]

        lst1.append(List([1,2,3,4,5], dtype=int64))
        lst1.append(List([6,7,8,9,10], dtype=int64))

        if len(lst2) > 1:
            print("This should never print!")
            print("Length of lst2(should not ever be greater than 1): ", len(lst2))

for i in range(200):
    foo()

2. 调整列表操作逻辑

避免在循环中频繁对lst1执行del和append操作，通过重置列表内容而非销毁重建的方式减少内存复用：

import numba

@numba.njit
def foo():
    lst1 = [[1,2,3,4,5], [6,7,8,9,10]]
    # 预定义要重置的元素
    elem1 = [1,2,3,4,5]
    elem2 = [6,7,8,9,10]

    for i in range(300):
        lst2 = []
        lst2.append(1)

        # 直接替换列表元素而非删除后追加
        lst1[0] = elem1
        lst1[1] = elem2

        if len(lst2) > 1:
            print("This should never print!")
            print("Length of lst2(should not ever be greater than 1): ", len(lst2))

for i in range(200):
    foo()

3. 禁用JIT编译（若性能要求不高）

如果不需要Numba带来的性能提升，直接去掉@numba.njit装饰器，使用原生Python解释执行，即可避免此类内存管理异常。

内容的提问来源于stack exchange，提问作者TheMAAAN