pandas使用map做列值映射时数值类UOM条目无法正确替换的问题排查

直接触发原因：字典键值类型不匹配 #

你实现的map调用逻辑不存在语法或规则层面的问题，pandas的map方法是严格按照字典键的类型、字面值做精确匹配的，不会主动做跨类型的匹配转换：

• 映射字典d的所有键都是纯字符串类型，和raw_direct_data里字符串类UOM条目（如AL、CA、4U）类型完全一致，因此可以正常命中匹配、完成替换
• raw_direct_data里被识别为float的数值类UOM条目，实际在内存中的存储值是3.0、4.0、7.0这类浮点值，和字典里存储的字符串键'3'、'4'、'7'不属于同一类型，根本无法命中匹配，pandas会直接把无法匹配的位置填充为空白NaN值

类型混杂的源头：自动类型推断+Excel格式转换 #

你观察到的“源csv存在不可见前导零、疑似Excel读取引入异常”的问题，是csv读取规则和Excel格式特性共同导致的连锁问题：

• pandas默认读取csv时会自动对列做类型推断，由于Uom列混杂了字符串、数字两类内容，pandas无法把整列定义为字符串或整型，会自动把全数字的条目升为float类型存储，从根源造成了同一列的类型混杂
• 如果原始csv是通过Excel编辑后保存的，Excel会自动把“常规”格式单元格里的纯数字文本（比如带前导零的003、04）转成数值格式，直接抹掉前导零，最终读入pandas时就变成了3.0、4.0这类浮点值，连原始的UOM编码字符串都已经丢失，自然无法和映射表的纯字符串键匹配

可落地的修复步骤 #

• 读取阶段强制指定列类型，从根源避免自动类型推断带来的类型混杂：

  # 读入映射表时，直接把Uom列指定为字符串类型
  mapping_df = pd.read_csv("映射表文件路径", dtype={"Uom": str})
  # 读入原始待处理数据时，同样把Uom列指定为字符串类型，关闭自动类型推断
  raw_direct_data = pd.read_csv("原始数据文件路径", dtype={"Uom": str})
  

• 如果是已经读入内存、还未做类型统一的DataFrame，手动做列值标准化处理：

  # 1. 把Uom列强制转成字符串，同时去除前后冗余空格
  raw_direct_data["Uom"] = raw_direct_data["Uom"].astype(str).str.strip()
  mapping_df["Uom"] = mapping_df["Uom"].astype(str).str.strip()
  # 2. 处理原float值转字符串后带的.0后缀，还原真实数值编码
  raw_direct_data["Uom"] = raw_direct_data["Uom"].replace(r"\.0$", "", regex=True)
  

• 类型统一后，你原来写的映射、过滤逻辑可以直接复用，不需要调整：

  # 构建映射字典的逻辑和最初的实现完全一致
  uom_map = dict(zip(mapping_df.Uom, mapping_df["Actual UOM"]))
  # 执行映射替换
  raw_direct_data["实际计量单位"] = raw_direct_data["Uom"].map(uom_map)
  # 过滤标记为待删除的行
  raw_direct_data = raw_direct_data[raw_direct_data["实际计量单位"] != "DELETE THE ROW WITH THIS UOM"]
  

内容的提问来源于stack exchange，提问作者Jake Halopoff