高效填充DataFrame中‘None’单元格：基于同列A匹配值替换

问题背景 #

你需要处理的场景是：当DataFrame的Column B单元格值为字符串'None'时，用对应Column A分组下的唯一非'None'值填充。原有的双重循环在小数据集可行，但面对10万行的大数据集效率极低，需要更高效的实现方式。

输入输出示例 #

输入表格

输出表格

高效解决方案 #

原双重循环是Python层面的逐行遍历，时间复杂度为O(n²)，10万行数据会产生天文数字级的操作量，完全不适用。以下两种方法利用Pandas的向量化和分组优化，时间复杂度降至O(n)或O(n log n)，处理大数据集毫无压力。

方案1：构建映射字典填充

先提取每个Column A对应的有效Column B值，生成字典后批量填充：

import pandas as pd

# 构造示例数据（实际使用时替换为你的数据集）
data = pd.DataFrame({
    'Column A': ['Apple', 'Apple', 'Orange', 'Banana', 'Apple', 'Banana', 'Orange'],
    'Column B': ['None', 'None', 'Soda', 'None', 'Pie', 'Bread', 'None']
})

# 生成Column A到有效Column B值的映射字典
value_map = (
    data[data['Column B'] != 'None']
    .drop_duplicates('Column A')
    .set_index('Column A')['Column B']
    .to_dict()
)

# 批量填充'None'值
data['Column B'] = data.apply(
    lambda row: value_map[row['Column A']] if row['Column B'] == 'None' else row['Column B'],
    axis=1
)

方案2：groupby + transform 一键填充

利用分组转换功能，直接将每组的有效值同步到所有'None'位置，代码更简洁：

import pandas as pd

# 构造示例数据
data = pd.DataFrame({
    'Column A': ['Apple', 'Apple', 'Orange', 'Banana', 'Apple', 'Banana', 'Orange'],
    'Column B': ['None', 'None', 'Soda', 'None', 'Pie', 'Bread', 'None']
})

# 按Column A分组，用每组的第一个非'None'值填充所有'None'
data['Column B'] = data.groupby('Column A')['Column B'].transform(
    lambda x: x[x != 'None'].iloc[0] if any(x != 'None') else x
)

原理说明 #

这两种方法都避免了Python层面的循环，依托Pandas底层的C语言优化操作：

• 方案1通过字典映射实现O(1)时间的取值填充，整体仅需遍历数据集两次
• 方案2利用groupby分组后，transform会自动将每组的有效值广播到组内所有行，效率极高

内容的提问来源于stack exchange，提问作者brainssss