Pandas设置DataFrame为int8却自动转为float64问题排查

核心问题排查 #

你遇到的类型自动转为float64的问题，由以下几个原因共同导致：

• 空DataFrame执行astype('int8')无实际作用：没有任何列的空DataFrame无法绑定数据类型规则，后续新增行/列时pandas会自动推断类型，不会继承空df的类型设置。
• 新增的行未指定int8类型：你生成的pd.Series([0] * mat_len)默认dtype为int64，调用已弃用的append方法拼接时，pandas会向上兼容更宽的数值类型，不会主动转成int8。
• 数值溢出触发类型转换：int8的取值范围仅为-128~127，你的测试逻辑中i+j当i、j超过63时结果就会大于127，超出int8的表示范围，pandas为了避免数据丢失会自动将列类型转为float64。
• 额外语法提示：你观察到的运行输出dtypes: float64(100)翻译为中文是「数据类型：float64（共100列）」。

正确实现方案 #

你当前用循环逐行append的方式生成100K×100K的矩阵性能极差，完全无法落地，建议直接从numpy数组初始化DataFrame，从根源固定数据类型：

import pandas as pd
import numpy as np

mat_len = 100000
# 直接生成全0的int8矩阵，内存占用固定为100000*100000*1B=10GB，符合内存管控要求
arr = np.zeros((mat_len, mat_len), dtype=np.int8)
df = pd.DataFrame(arr)

# 后续赋值逻辑注意不要超出int8的取值范围，否则依然会触发类型转换
for i in range(mat_len):
    for j in range(i, mat_len):
        val = i + j
        if -128 <= val <= 127:
            df.iloc[i,j] = val
        else:
            # 这里根据你的业务需求处理溢出场景，比如截断、取模等
            df.iloc[i,j] = val % 128

print(df.info())

如果确实需要逐行生成数据，每一行的Series都要明确指定dtype为int8，同时弃用append方法改用pd.concat提升性能：

new_row = pd.Series([0]*mat_len, dtype='int8')

内容的提问来源于stack exchange，提问作者raghu