如何基于索引列按行对含NaN的Pandas DataFrame进行折叠与拼接？

嘿，看起来你想要把同一索引/ID下的多行数据合并成一行，把分散在不同行的非NaN值都整合到对应的列里对吧？我来给你两种常用的解决方案，根据你的具体需求选就行：

情况1：同一分组内的列最多只有一个非NaN值 #

如果你的数据里，同一个ID/索引下的同一列不会出现多个非NaN值（比如ID=121的company列，要么是Google要么是Amazon，但不会在多行同时出现），那用groupby结合first()就能快速解决：

import pandas as pd

# 假设你要按ID列分组折叠
collapsed_df = df.groupby('ID').first()

# 如果是按DataFrame的默认索引分组（而非ID列），就改成：
# collapsed_df = df.groupby(df.index).first()

first()的作用是：对每个分组的每一列，取第一个出现的非NaN值，自动跳过NaN，这样就把同一分组的多行折叠成一行，所有有效数据都保留下来了。比如你示例里ID=121的多行，处理后会把time_duration的0 days 00:03:11、val的0、company的Google这些有效数据整合到同一行。

情况2：同一分组内的列有多个非NaN值，需要拼接 #

如果同一ID/索引下的同一列有多个有效数据（比如ID=121的company列既有Google又有Amazon），你想把这些值拼接起来（比如用逗号分隔），那可以自定义一个聚合函数：

def concat_non_null_values(column):
    # 筛选出非NaN值，转成字符串后去重（可选），再拼接
    non_null = column.dropna().astype(str).unique()
    return ', '.join(non_null)

# 对所有列应用这个函数，按ID分组
collapsed_df = df.groupby('ID').agg(concat_non_null_values)

这样处理后，ID=121的company列就会变成Google, Amazon，其他列的单个有效数据也会正常保留。

小提示 #

如果你的DataFrame特别大，建议先检查分组键（比如ID列）的数据类型，确保是数值或字符串类型，避免分组时出现意外。另外，groupby操作在Pandas里效率很高，处理百万级别的数据也没问题。

内容的提问来源于stack exchange，提问作者john doe