跨50个日期索引DataFrame统计Yes/No占比生成新DataFrame的最优方案

核心思路：合并+分组聚合，替代嵌套循环 #

直接用pd.concat()把所有DataFrame合并成一个大表，再按日期索引分组统计，比嵌套循环简洁高效得多，尤其当DataFrame数量较多时，性能优势明显。

具体实现步骤 #

1. 合并所有DataFrame
   把50个DataFrame放到一个列表里，用pd.concat()一次性合并：

   import pandas as pd
   
   # 假设dfs是包含50个目标DataFrame的列表
   combined_df = pd.concat(dfs)
   

2. 按日期分组统计Yes/No数量
   两种简洁实现方式：

   • 方法一：groupby+value_counts组合，转置后补全缺失值

     # 按日期索引分组，统计每组内Yes/No的数量
     count_df = combined_df.groupby(level=0)['目标列名'].value_counts().unstack(fill_value=0)
     

   • 方法二：用pd.crosstab直接生成交叉统计表格

     count_df = pd.crosstab(combined_df.index, combined_df['目标列名'])
     

3. 计算日期维度的Yes/No占比
   基于统计出的数量，按行（每个日期）计算占比：

   # 按行求和后计算占比，保留两位小数
   ratio_df = count_df.div(count_df.sum(axis=1), axis=0).round(2)
   

原嵌套循环方案的合理性判断 #

嵌套循环的思路是可行的，但存在明显短板：

• 代码冗余易出错：需要手动维护日期列表、逐个遍历DataFrame更新计数，代码量更大，容易出现漏统计、格式错误
• 性能劣势：循环遍历是pandas中的低效操作，50个DataFrame的场景下，合并+分组的向量化操作速度会快数倍

如果你的DataFrame数据量极小，嵌套循环能跑通，但从代码简洁性、可维护性和性能角度，强烈推荐合并+分组的方案。

内容的提问来源于stack exchange，提问作者Reginald Stiles