简化Python/Pandas代码：分块计算数据min/mean/max并保留格式

问题回顾 #

你需要处理制表符分隔的结构化数据，按指定行数分块计算每块的min/mean/max，同时严格保留原列的类型（第2-4列是float，其余是int）。原代码重复编写每列的统计操作，尝试用data.FUNC()简化时遇到TypeError，因为data.FUNC()返回的是Series（每列的统计值集合），而不是单个数值，无法直接用格式化字符串处理。

优化思路 #

1. 提前指定列类型：让Pandas读取数据时就按正确类型加载，避免后续统计时的类型混淆；
2. 统一处理统计结果：写一个辅助函数，把统计得到的Series转换成符合类型要求的元组；
3. 循环复用统计逻辑：把min/mean/max三个操作做成循环，减少重复代码；
4. 用上下文管理器管理文件：更安全、简洁地处理文件读写。

优化后的代码 #

import sys
import pandas as pd

# 定义列的类型分组：0、4-10列为int，1-3列为float（对应原需求的第1、2-4列）
INT_COLUMNS = [0, 4, 5, 6, 7, 8, 9, 10]
FLOAT_COLUMNS = [1, 2, 3]

def format_statistics(stat_series):
    """将统计结果Series转换为符合类型要求的元组"""
    formatted_vals = []
    for col_idx in range(11):
        value = stat_series.iloc[col_idx]
        # 根据列索引判断转换类型
        if col_idx in INT_COLUMNS:
            formatted_vals.append(int(value))
        else:
            formatted_vals.append(float(value))
    return tuple(formatted_vals)

if __name__ == "__main__":
    # 从命令行获取参数：输入文件、输出文件、分块大小
    input_path = sys.argv[1]
    output_path = sys.argv[2]
    chunk_size = int(sys.argv[3])

    # 按分块读取数据，提前指定每列的类型
    chunk_iterator = pd.read_table(
        input_path,
        delim_whitespace=True,
        header=None,
        dtype={idx: int if idx in INT_COLUMNS else float for idx in range(11)},
        chunksize=chunk_size
    )

    # 用上下文管理器自动管理文件关闭
    with open(output_path, "w") as out_file:
        # 遍历每个数据块
        for chunk in chunk_iterator:
            # 循环处理min/mean/max三个统计操作
            for stat_name in ["min", "mean", "max"]:
                # 调用对应统计方法，得到每列的统计结果Series
                stats = getattr(chunk, stat_name)()
                # 转换为符合类型要求的元组
                formatted_stats = format_statistics(stats)
                # 格式化输出行（严格对应列的类型格式）
                output_line = "%d\t%f\t%f\t%f\t%d\t%d\t%d\t%d\t%d\t%d\t%d\n" % formatted_stats
                out_file.write(output_line)

关键说明 #

• 为什么之前报错？：chunk.min()返回的是包含所有列最小值的Series，而%d/%f格式化需要单个数值。我们通过format_statistics函数把Series的每个元素按类型转换后，打包成元组，就能正常格式化了。
• 提前指定dtype的好处：让Pandas在读取阶段就按正确类型解析数据，避免统计时出现不必要的类型转换（比如int列被解析成float）。
• 循环处理统计函数：通过getattr(chunk, stat_name)()动态调用统计方法，避免重复编写三次几乎一样的write代码，提升可维护性。

内容的提问来源于stack exchange，提问作者Paavo Leinonen