Pandas中Time_diff列浮点数精度异常问题求助

问题描述 #

处理传感器数据时，需将高频率采集数据转换为10Hz采样，预期DataFrame的Time_diff列是[0.0, 0.1, 0.2, 0.3 ...]，但实际出现[0.0, 0.1, 0.2, 0.30000004 ...]这类浮点数精度异常值。调用round()取整后，打印显示正常，但导出CSV或合并多DataFrame时问题依旧，导致合并时因时间戳不匹配生成多余索引项。

核心原因 #

这是浮点数二进制存储的固有精度误差：0.1这类十进制小数无法用二进制精确表示，多次累加后误差会被放大。同时原代码中round()方法未修改原DataFrame（Pandas的round()默认返回新对象，不原地修改），等于没有实际生效。

解决方案 #

1. 修正round()的使用逻辑 #

确保round()的结果赋值回原DataFrame，或使用inplace=True参数：

# 替换原代码中的round调用
self.trials[i].df_merged = self.trials[i].df_merged.round(1)
# 或者直接原地修改
self.trials[i].df_merged.round(1, inplace=True)

补充代码中的round也要同步修正：

# 替换原代码的df.round调用
df = df.round({'Time_diff': 1})
# 或者原地修改
df.round({'Time_diff': 1}, inplace=True)

2. 用整数替代浮点数存储时间戳 #

彻底规避浮点数误差，将10Hz时间戳转换为毫秒整数（如0.0→0，0.1→100）：

# 生成整数毫秒级时间序列
t_ms = np.arange(0, 
                 int(self.trials[i].duration * 1000) + int(self.trials[i].dt * 1000), 
                 int(self.trials[i].dt * 1000))
self.trials[i].df_merged['Time_diff_ms'] = t_ms

# 处理子DataFrame时同步转换为整数
for j in range(len(self.trials[i].df_list)):
    df = self.trials[i].df_list[j]
    # 转换为毫秒整数
    df.insert(0, 'Time_diff_ms', round((df['Time'] - t_start) * 1000).astype(int))
    df.drop_duplicates(subset=['Time_diff_ms'], keep='first', inplace=True)
    # 基于整数列合并
    self.trials[i].df_merged = pd.merge(self.trials[i].df_merged, df, 
                                        how="outer", 
                                        on="Time_diff_ms", 
                                        suffixes=(None, '_'+self.trials[i].df_list_names[j]))

# 若需导出小数格式，再转换回浮点数
self.trials[i].df_merged['Time_diff'] = self.trials[i].df_merged['Time_diff_ms'] / 1000.0

3. 导出CSV时强制指定精度 #

导出CSV时通过float_format参数强制保留1位小数，避免精度异常暴露：

self.trials[2].df_merged.to_csv(path_or_buf='merged.csv', float_format='%.1f')

内容的提问来源于stack exchange，提问作者TheClem