如何返回带绑定参数的未执行函数,实现计算集群跨节点任务分发
问题根因
你在yield语句中直接书写了calculate(a[i],b[i], operations[i]),按照Python语法规则,只要出现函数名(入参)的写法,解释器就会立即执行该函数,将执行后的返回值作为yield的返回对象,所以才会出现迭代时先执行函数打印Working...的情况,和你预期返回可执行对象、延迟到集群节点再运行的需求不符。
解决方案
你需要返回已经绑定好入参、可直接调用的函数对象而非函数执行结果,推荐两种实现方式:
方案1:使用functools.partial(更推荐,无闭包坑)
functools.partial可以直接绑定函数的入参,返回一个新的可调用对象,调用时不需要再传已经绑定的参数:
from functools import partial def calculate(a: int,b: int ,operation: str): print("Working...") if operation == 'multiply': return a * b elif operation == 'sum': return a+b def calculation_sender(a: [int], b:[int], operations: [str]): for i in range(len(operations)): # 只绑定参数,不执行函数,返回partial可调用对象 yield partial(calculate, a[i], b[i], operations[i])
测试代码:
a = [1,2,3] b = [1,2,3] operations = ['sum','multiply','sum'] for calculation in calculation_sender(a, b, operations): print("Don't work yet!") # 此时还没执行,打印的是偏函数对象,不是执行结果 print(calculation) # 转移到集群节点后,再执行下方代码即可拿到结果 # res = calculation() # print(res)
运行测试代码后不会打印Working...,符合你延迟执行的预期。
方案2:使用lambda匿名函数包裹
需要注意解决循环闭包的延迟绑定问题,给lambda加默认参数固定当前循环的变量值:
def calculation_sender(a: [int], b:[int], operations: [str]): for i in range(len(operations)): # 加默认参数固定当前循环的a、b、operation值 yield lambda a_val=a[i], b_val=b[i], op_val=operations[i]: calculate(a_val, b_val, op_val)
跨节点分发注意事项
如果需要把可调用对象传到集群其他节点执行,要注意对象的序列化兼容性:
functools.partial和无外部依赖的简单lambda都可以直接用pickle序列化- 如果函数涉及到本地依赖、闭包变量,需要提前保证集群所有节点的运行环境一致,函数定义在所有节点都可访问
内容的提问来源于stack exchange,提问作者Fran Arenas
相关产品推荐
相关产品推荐

