Python中如何构造可变长vector matrix或按用户ID存储的时序数据结构

方案选型对比 #

• 字典+变长列表（绝大多数场景首选）：O(1)复杂度的用户访问和尾部追加速度，内存占用极低，完全适配变长需求；缺点是无法直接批量做全用户的时间维度对齐运算，需要额外转换处理
• 嵌套DataFrame（单用户对应独立子DF）：可以直接调用pandas的时间序列处理API，适合需要对单用户做复杂统计的场景；缺点是内存开销大，新增值的速度比字典方案慢2~3倍，用for循环批量创建的效率很低
• 稀疏矩阵：适合用户量极大、需要做全量矩阵运算的场景，内存占用远低于稠密矩阵；缺点是新增值的操作复杂度高，不适合高频新增的场景

具体实现示例 #

1. 字典+变长列表实现（性能最高） #

# 初始化存储结构，key为用户ID，value为对应时间点取值列表
user_time_series = {}

# 写入示例初始数据
user_time_series["User1"] = [2, 3]
user_time_series["User2"] = [3, 5, 7]
user_time_series["User3"] = [1, 2, 3, 5]
user_time_series["UserN"] = [1]

# 访问User1的全量取值vector
user1_data = user_time_series["User1"]

# 给User1新增t2时间点的取值
user_time_series["User1"].append(4)

# 需要全量统计时可批量导出为对齐的DataFrame
import pandas as pd
df = pd.DataFrame.from_dict(user_time_series, orient="index")
# 自动对齐列名为t0~tM，缺失值填充为NaN
df.columns = [f"t{i}" for i in range(df.shape[1])]

2. 单用户独立DataFrame实现 #

from collections import defaultdict
import pandas as pd

# 用defaultdict自动创建用户的空DF
user_dfs = defaultdict(lambda: pd.DataFrame(columns=["value"]))

# 写入初始数据
user_dfs["User1"] = pd.DataFrame({"value": [2, 3]}, index=[f"t{i}" for i in range(2)])
user_dfs["User2"] = pd.DataFrame({"value": [3, 5, 7]}, index=[f"t{i}" for i in range(3)])

# 访问User1的取值vector
user1_vec = user_dfs["User1"]["value"].to_list()

# 为User1新增t2时间点取值
user_dfs["User1"].loc["t2"] = 4

选型建议 #

• 核心需求为高频新增取值、随机访问单用户序列：直接选择字典+列表方案，性能比另外两种高一个数量级
• 每个用户都需要单独做滚动统计、缺失值填充等pandas专属操作：选择独立DF方案
• 需要做全用户的协同过滤、矩阵分解等运算：可以在需要运算前把字典结构转换为稀疏矩阵即可，无需全程用矩阵存储

内容的提问来源于stack exchange，提问作者Poyita de troya