如何用Pandas拆分固定宽度设备日志的可变长末列并解决NaN导致的列类型异常

出现浮点型数值问题的本质是Pandas的默认类型推断规则导致的：

• np.nan是浮点类型值，只要列内存在空值，且未手动指定数据类型，Pandas会自动将整列转为float64类型
• 即使后续做空值替换，列的类型已经被提前转换，原本的字符串hex值会被转为带.0后缀的浮点数值，无法还原成原格式

方案1：基于现有读取流程处理（适配已用read_csv读出前4列的场景） #

这个方案不需要回头修改原有文件读取逻辑，直接对已有的Data列做拆分：

1. 把每一行的连续hex字符串按2字符为单位切割，生成列表

   # 对Data列逐行切割，每2个字符为一个独立块
   df['Data_split_list'] = df['Data'].apply(
       lambda s: [s[i:i+2] for i in range(0, len(s), 2)]
   )
   

2. 将切割后的列表转换为独立的宽表，自动适配不同行的长度差，空位置自动填充空值

   data_split = pd.DataFrame(
       df['Data_split_list'].tolist(),
       index=df.index
   )
   # 给拆分出的列按顺序命名
   data_split.columns = [f"C{i}" for i in data_split.columns]
   

3. 拼接原表和拆分后的列，重点强制指定所有拆分列的类型为Pandas原生字符串类型，从根源上避免自动转float

   # 去掉原表多余的中间列
   final_df = pd.concat([df.drop(columns=['Data', 'Data_split_list']), data_split], axis=1)
   # 把所有C开头的拆分列强制转为string类型，空值会原生显示为<NA>，不会出现浮点值
   # 注意：这里用Pandas原生string类型而非普通str类型，避免空值被转为字符串'nan'
   c_cols = [col for col in final_df.columns if col.startswith('C')]
   final_df[c_cols] = final_df[c_cols].astype('string')
   

方案2：基于read_fwf直接读取文件的优化方案 #

如果更习惯用pd.read_fwf直接读取原始日志，只需要在读取时手动指定类型，即可解决浮点问题：

1. 先统计日志中最长的Data字符串长度，自动生成覆盖全部分块的列位置规则

   # 替换为你日志中实际的最长Data长度，示例中最长为22个字符（11个2字节块）
   max_data_char_len = 22
   # 前3列的位置规则
   base_colspecs = [(0,12), (13,17), (18,28)]
   # 按2字符为单位生成所有Data分块的位置规则
   data_colspecs = [
       (29 + i*2, 29 + (i+1)*2)
       for i in range(max_data_char_len//2)
   ]
   # 合并列位置规则和列名
   all_colspecs = base_colspecs + data_colspecs
   all_colnames = ["Time", "Header", "Src->Dest"] + [f"C{i}" for i in range(max_data_char_len//2)]
   

2. 读取时手动指定所有列按字符串类型解析，禁止Pandas自动推断类型

   df = pd.read_fwf(
       "SampleLog.txt",
       colspecs=all_colspecs,
       names=all_colnames,
       dtype="string" # 核心参数：所有列强制按字符串读取，空值自动转<NA>，不会触发float类型转换
   )
   

之前尝试替换NaN无效的核心原因是操作时机不对：如果已经在类型被Pandas自动转为float64之后再做空值/数值替换，原本的hex字符串已经被转为浮点值（比如字符串00被转为0.0），再处理会残留.0后缀。只要在读取、拆分的最开始就指定列类型为原生字符串类型，就能从根源上避免这个问题。

内容的提问来源于stack exchange，提问作者xpress_embedo