Pandas如何通过向量化按行值为DataFrame新列添加函数结果

你直接写df['Features'] = add_data(df['partnumber'])不生效，本质是你写的add_data函数设计为接收单个零件号字符串作为入参，但df['partnumber']是一整列的Pandas Series对象，你的sql_lookup查询逻辑没法直接处理整列值，自然跑不通。

另外你当前用的df.apply(axis=1)本质是逐行循环，每处理一行就发一次SQL请求，性能非常差，完全不符合Pandas操作的最佳实践，尤其是数据量上千之后速度会慢到无法接受。

针对SQL匹配查询的场景，最优解是批量拉取所有需要的映射关系到本地，再用Pandas原生向量化操作做匹配，全程只需要发1次SQL请求，比逐行查询快几十到上百倍：

import pandas as pd

# 1. 提取当前DF里所有不重复的零件号，一次性做批量查询
unique_part_list = df['partnumber'].unique().tolist()
# 生成IN查询的占位符，适配参数化查询避免SQL注入
placeholder_str = ','.join(['%s'] * len(unique_part_list))
query_sql = f"""
SELECT partnumber, featurenotes
FROM 你的零件特征存储表
WHERE partnumber IN ({placeholder_str})
"""
# 执行查询，拿到全量零件号和特征的对应关系，转成字典方便映射
# 数据库连接对象替换成你自己用pymysql/sqlalchemy创建的连接即可
lookup_df = pd.read_sql(query_sql, con=你的数据库连接, params=unique_part_list)
part_feature_dict = dict(zip(lookup_df['partnumber'], lookup_df['featurenotes']))

# 2. 用原生向量化的map方法做匹配赋值，完全不需要apply
df['Features'] = df['partnumber'].map(part_feature_dict)

如果存在部分零件号在数据库里查不到的情况，可以给map加参数或者后面接fillna设置默认值即可。

如果你暂时不想改批量查询的逻辑，只是想替换掉性能差的df.apply(axis=1)写法，可以直接用Series.map，它会自动把列中的每个元素单独传入自定义函数，逻辑和你原来的apply完全一致，但因为不需要逐行生成整行的Series对象，性能比apply(axis=1)高30%~50%：

# 不需要修改你原来的add_data函数，直接传入即可
df['Features'] = df['partnumber'].map(add_data)

注意：这个方案本质还是逐行调用函数、逐次发送SQL请求，只适合几百行以内的小数据量临时使用，数据量稍大就会因为频繁的数据库IO变得非常慢。

• 所有涉及IO的操作（查数据库、调接口、读文件），永远优先做批量请求，绝对不要在逐行循环/apply里做IO操作，IO开销是性能的最大瓶颈
• df.apply(axis=1)是Pandas里性能最差的操作之一，只要能找到列级别的原生实现（比如map、replace、直接列运算），就不要用逐行apply
• 不用盲目追求“向量化”：如果你的自定义函数本身不支持数组/Series类型的输入，硬把整列传进去是跑不通的，优化优先级永远是「减少IO次数」>「用Pandas原生C实现的操作」>「逐行循环类操作」

内容的提问来源于stack exchange，提问作者MaxMusic