pandas将多段分块时间序列合并为无重复DataFrame的实现问题

原有合并逻辑的问题根源 #

你当前使用空DataFrame加append的实现，本质是把每个传入的分块Series直接作为独立行追加到表中，不会自动按Series的名称（也就是最终的id行索引）做同索引下的数值聚合。同名的分块序列（比如同属id_1的s1、s2）会生成两条独立的重复索引行，各自覆盖不同时间段的非空值，最终就会出现重复行、空值分散的问题。

额外说明：DataFrame.append()方法在pandas 1.4版本后已被官方弃用，后续版本会被移除，推荐全程使用pd.concat实现拼接逻辑。

推荐的合并实现方案 #

方案1：拼接后按id聚合（实现最简单，适合快速处理） #

核心思路是先把每个分块Series转成和原append逻辑一致的单行结构，拼接完成后再按id分组，将同索引下的非空值合并为单行。

import pandas as pd

# 复用你定义的4个测试Series
s1 = pd.Series([1.1,1.2], index=pd.date_range("2000-01-01 00:00:00", freq="S", periods=2), name="id_1")
s2 = pd.Series([1.3,1.4], index=pd.date_range("2000-01-01 00:00:02", freq="S", periods=2), name="id_1")
s3 = pd.Series([2.1,2.2], index=pd.date_range("2000-01-01 00:00:00", freq="S", periods=2), name="id_2")
s4 = pd.Series([2.3,2.4], index=pd.date_range("2000-01-01 00:00:02", freq="S", periods=2), name="id_2")
all_series = [s1, s2, s3, s4]

# 步骤1：把每个分块Series转成单行结构
transposed_rows = [s.to_frame().T for s in all_series]
# 步骤2：按行轴拼接所有单行，再按id分组合并同索引下的非空值
final_df = pd.concat(transposed_rows).groupby(level=0).first()

方案说明：

• 最终输出和你期望的格式完全一致，同一id下的所有分块数值会被归并到同一行，没有重复索引
• 分组聚合用的first()会取同索引下第一个非空值，适合分块之间时间范围无重叠的场景；如果存在时间重叠，可替换为mean()、max()等符合业务规则的聚合函数

方案2：先按id分组拼接同序列，再生成宽表（逻辑更清晰，灵活度更高） #

如果后续需要处理同id分块的重叠值，这个方案更符合时间序列的处理逻辑——先把同属一个id的分块沿时间轴拼接成完整的连续时间序列，再统一生成宽表。

from collections import defaultdict

# 按Series的名称（id）对所有分块分组
grouped_chunks = defaultdict(list)
for s in all_series:
    grouped_chunks[s.name].append(s)

# 同id的分块沿时间轴拼接为完整序列，再转置为最终宽表
final_df = pd.DataFrame(
    {id_name: pd.concat(chunk_list).sort_index() 
     for id_name, chunk_list in grouped_chunks.items()}
).T

方案说明：

• 该方案在拼接同id的分块时，就可以直接指定重叠时间点的处理规则（比如传入pd.concat的join、sort参数，或者用combine_first做值补全），更适配生产环境的复杂数据场景
• 拼接完成后自动按时间排序，不会出现时间轴顺序混乱的问题

内容的提问来源于stack exchange，提问作者dudanov