类中增量ID在流水线多实例场景下返回错误值问题排查

核心问题本质 #

你碰到的这个情况，本质是实例的DataFrame被意外共享，或者流水线处理时没有正确绑定每个实例的ID属性——实例自身的ID是对的，说明类的计数器逻辑没问题，问题出在DF_adder处理df的环节。

具体可能的触发场景 #

1. 类级别的DataFrame导致数据覆盖 #

如果Daughter类里的df是定义在类作用域下的（不是在__init__里初始化），那所有实例会共享同一个DataFrame对象。比如：

class Daughter:
    df = pd.DataFrame()  # 类属性，所有实例共用同一个DF
    counter = 0
    def __init__(self):
        self.ID = Daughter.counter
        Daughter.counter += 1

这种情况下，当你给d2.df['ID_Num']赋值为1时，会直接修改共享的DF，导致d1.df的内容也被覆盖。

2. 流水线处理时错误复用了外部变量 #

如果DF_adder的逻辑里没有直接引用当前实例的ID，而是依赖了某个外部的共享变量，且流水线是延迟执行的（比如先收集所有实例再批量处理），就会出现所有DF都被设为最后一次的变量值。比如：

current_id = 0
def DF_adder(instance):
    global current_id
    instance.df['ID_Num'] = current_id
    current_id += 1
    return instance

# 假设流水线先把d1、d2都放进队列，最后才执行处理逻辑
# 此时current_id已经变成1，两个实例的DF都会被设为1

3. 处理函数错误引用了类属性而非实例属性 #

虽然你说实例自身ID是对的，但还是要排查下DF_adder是不是误写了类属性：

def DF_adder(instance):
    # 错误：用了类的属性而非实例的self.ID
    instance.df['ID_Num'] = Daughter.ID
    return instance

修复验证步骤 #

1. 确保df是实例属性：在Daughter的__init__里初始化self.df，每个实例拥有独立的DataFrame：

class Daughter:
    counter = 0
    def __init__(self):
        self.ID = Daughter.counter
        Daughter.counter += 1
        self.df = pd.DataFrame()  # 每个实例单独创建DF

2. 修正DF_adder的赋值逻辑：直接引用当前实例的ID属性：

def DF_adder(instance):
    instance.df['ID_Num'] = instance.ID
    return instance

3. 检查流水线执行顺序：如果用了第三方流水线框架，确保每个实例的处理是即时执行，而非延迟到所有实例创建完成后统一处理。

内容的提问来源于stack exchange，提问作者T MacN