Pandas中按间隙大小填充NA及生成月度id存在表的方法

嘿，这两个都是Pandas处理时间序列和缺失值时很常见的需求，我来一步步给你拆解解决办法~

要实现“只补全短间隙NA，长间隙保留”的效果，核心思路是先给连续的NA块打标签，计算每个块的长度，再筛选出符合阈值的块进行填充。

举个实际的例子，假设我们有一个按id分组的时间序列数据，每个id下有连续的数值和NA：

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({
    'id': [1,1,1,1,1,1,1,2,2,2,2,2],
    'value': [10, np.nan, np.nan, 20, np.nan, np.nan, np.nan, 30, np.nan, 40, np.nan, 50]
})

具体步骤：

• 第一步：标记哪些行是NA，并用cumsum()给连续的NA/非NA块分组

  df['is_na'] = df['value'].isna()
  # 给连续的相同状态（NA/非NA）分配唯一组号
  df['group'] = df['is_na'].ne(df['is_na'].shift()).cumsum()
  

• 第二步：计算每个NA块的长度，用transform把长度映射到每一行

  # 按组计算NA的数量（非NA组的长度会是0）
  df['na_block_length'] = df.groupby('group')['is_na'].transform('sum')
  

• 第三步：只填充长度小于阈值的NA，这里假设阈值是2

  threshold = 2
  df['filled_value'] = np.where(
      (df['is_na']) & (df['na_block_length'] < threshold),
      df['value'].ffill(),  # 用前向填充，也可以根据需求用bfill
      df['value']
  )
  

如果你的数据是按id独立的序列，记得在groupby时加上id，比如df.groupby(['id', 'group'])，保证每个id的NA块单独计算长度。

针对你提到的场景，我先把示例数据补全，然后一步步实现需求：

完整代码实现 #

import pandas as pd
import numpy as np

# 补全你的示例数据
df = pd.DataFrame({
    'id': [1,1,1,1,1,2,2,2,3],
    'date': ['2018-02-15', '2018-03-20', '2018-06-10', '2018-07-05', '2018-11-22',
             '2018-01-05', '2018-04-18', '2018-05-25', '2018-09-30']
})

# 1. 把date转成datetime类型，方便后续处理月份
df['date'] = pd.to_datetime(df['date'])

# 2. 生成2018年所有月份的周期序列（用Period类型更方便处理月份）
months_2018 = pd.date_range(start='2018-01-01', end='2018-12-31', freq='MS').to_period('M')

# 3. 生成所有id和2018月份的全组合，确保每个id的每个月份都有记录
all_id_months = pd.MultiIndex.from_product(
    [df['id'].unique(), months_2018],
    names=['id', 'month']
).to_frame(index=False)

# 4. 标记原始数据中每个id在对应月份是否存在
# 先构建每个id对应的存在月份集合
id_existing_months = df.groupby('id')['date'].apply(
    lambda x: set(x.dt.to_period('M'))
).to_dict()

# 给全组合DF添加原始存在标记
all_id_months['exists_original'] = all_id_months.apply(
    lambda row: row['month'] in id_existing_months[row['id']],
    axis=1
)

# 5. 填充≤2个月的存在间隙
# 逻辑：如果某个月份不存在，但前后2个月内有存在的记录，就标记为存在
# 用ffill向前补2个周期，再用bfill向后补2个周期，刚好覆盖≤2个月的间隙
all_id_months['exists_filled'] = all_id_months.groupby('id')['exists_original'].transform(
    lambda x: x.ffill(limit=2).bfill(limit=2)
)

# 查看结果
print(all_id_months)

代码说明 #

• 生成全组合的all_id_months是为了保证2018年每个月每个id都有记录，不会遗漏；
• 填充间隙时用ffill(limit=2).bfill(limit=2)：先向前补最近2个缺失的月份，再向后补2个，这样就能把中间连续≤2个月的空白补上；
• 比如id=1的2018-04、05月份，原本没有记录，但前后的03和06都存在，间隙是2个月，所以会被填充为True；而08-10月份，前后是07和11，间隙是3个月，就不会被填充。

内容的提问来源于stack exchange，提问作者ALollz