如何在Julia中分布式运行未用@everywhere定义的任意函数？

你遇到的UndefVarError是因为分布式工作进程（worker）不知道主进程中定义的addone、subone等函数——这些函数只存在于主进程的命名空间，worker节点无法找到对应的定义。以下是几种可行的解决方案：

方案1：提前用@everywhere定义函数 #

如果函数是提前确定的，直接用@everywhere把函数定义广播到所有worker节点：

@assert nprocs() > 1
@everywhere addone(x) = x+1
@everywhere subone(x) = x-1

function g(f)
    pmap(1:5) do x
        f(x)
    end
end

g(addone)  # 正常运行，输出 [2,3,4,5,6]
g(subone)  # 正常运行，输出 [0,1,2,3,4]

方案2：运行时动态传递函数到所有worker #

如果要处理任意运行时定义的函数（无论是否提前用@everywhere声明），可以在调用pmap前，把函数对象广播到所有worker节点：

@assert nprocs() > 1

function g(f::Function)
    # 将主进程的函数f传递给所有worker的全局命名空间
    @everywhere f = $f
    pmap(1:5) do x
        f(x)
    end
end

# 主进程中定义任意函数
addone(x) = x+1
subone(x) = x-1
myfunc(x) = x^2 + 2x +1

g(addone)   # 输出 [2,3,4,5,6]
g(subone)   # 输出 [0,1,2,3,4]
g(myfunc)   # 输出 [4,9,16,25,36]

方案3：传递序列化后的函数（更灵活） #

如果不想修改worker的全局变量，可以把函数序列化后，在每个worker任务中反序列化再调用：

@assert nprocs() > 1
using Serialization

function g(f::Function)
    # 序列化函数对象
    f_bytes = serialize(f)
    pmap(1:5) do x
        # 在worker上反序列化函数并执行
        f_deser = deserialize(IOBuffer(f_bytes))
        f_deser(x)
    end
end

addone(x) = x+1
g(addone)  # 正常运行，输出 [2,3,4,5,6]

注意事项 #

• 不是所有函数都能被序列化：包含未序列化对象（如C指针、某些外部资源）的函数会序列化失败，这种情况仍需用@everywhere提前定义。
• 对于复杂闭包，需确保闭包引用的变量也能被序列化或在worker上可用。

内容的提问来源于stack exchange，提问作者tillfalko