Python入门者技术咨询：数据分析场景下的数据集最优组织方案

嘿，这个场景我太熟了！针对你这种多session、同类型数据维度一致但长度可变的需求，我给你梳理几个Python里常用的方案，你可以根据自己的分析习惯来挑：

这是和你习惯的MATLAB思维最贴合的方式——用一个大字典管理所有session，每个session又是一个嵌套字典，对应不同的数据类型。

import numpy as np

# 初始化数据结构
dataset = {
    "session_1": {
        "data_type_1": np.array([1, 2, 3]),  # 长度x
        "data_type_2": np.array([4, 5]),      # 长度Y
        "data_type_3": np.array([6])          # 长度z
    },
    "session_2": {
        "data_type_1": np.array([7, 8]),      # 长度a
        "data_type_2": np.array([9, 10]),     # 长度Y
        "data_type_3": np.array([11, 12, 13]) # 长度c
    }
}

# 跨session提取同一数据类型（比如所有data_type_1）
all_data_type_1 = [session["data_type_1"] for session in dataset.values()]

# 对比操作示例：计算每个session data_type_1的均值
dt1_means = [np.mean(session["data_type_1"]) for session in dataset.values()]

优点：直观易懂，和MATLAB的struct用法几乎一致，增删session或数据类型都非常灵活；
缺点：批量处理数据时需要手动写循环或列表推导，没有pandas的API那么便捷。

如果你的分析经常涉及统计、分组对比，用pandas的分层索引（MultiIndex）或者字典存储各数据类型的Series会更高效。

方式A：分层索引Series #

把同一数据类型的所有session数据合并成一个Series，用session+位置作为分层索引：

import pandas as pd
import numpy as np

# 构建data_type_1的分层索引Series
data_type_1 = pd.Series(
    data=np.concatenate([[1,2,3], [7,8]]),
    index=pd.MultiIndex.from_tuples(
        [("session_1", 0), ("session_1", 1), ("session_1", 2),
         ("session_2", 0), ("session_2", 1)],
        names=["session", "position"]
    )
)

# 所有数据类型放在一个字典里
dataset = {
    "data_type_1": data_type_1,
    "data_type_2": pd.Series(
        data=np.concatenate([[4,5], [9,10]]),
        index=pd.MultiIndex.from_tuples(
            [("session_1", 0), ("session_1", 1),
             ("session_2", 0), ("session_2", 1)],
            names=["session", "position"]
        )
    )
}

# 提取单个session的数据
session1_dt1 = dataset["data_type_1"].loc["session_1"]

# 批量统计：每个session data_type_1的均值
dt1_grouped_mean = dataset["data_type_1"].groupby("session").mean()

方式B：列表转DataFrame（适合快速查看结构） #

如果只是想快速组织数据，也可以把每个session做成字典存进列表，再转成DataFrame（长度不同的列会自动补NaN）：

session_list = [
    {"session": "session_1", "data_type_1": [1,2,3], "data_type_2": [4,5], "data_type_3": [6]},
    {"session": "session_2", "data_type_1": [7,8], "data_type_2": [9,10], "data_type_3": [11,12,13]}
]

df = pd.DataFrame(session_list)
# 提取所有data_type_1
all_dt1 = df["data_type_1"].tolist()

优点：pandas自带的分组、统计API能大幅减少重复代码，适合需要频繁做数据分析的场景；
缺点：如果数据类型是2D数组，pandas存储起来不如numpy直接，需要额外处理嵌套结构。

如果你的分析逻辑比较固定，需要封装一些重复操作，写个简单的自定义类会让代码更模块化。

import numpy as np

class Session:
    def __init__(self, session_id, data_type_1, data_type_2, data_type_3):
        self.session_id = session_id
        self.data_type_1 = data_type_1
        self.data_type_2 = data_type_2
        self.data_type_3 = data_type_3

class Dataset:
    def __init__(self):
        self.sessions = []
    
    def add_session(self, session):
        self.sessions.append(session)
    
    def get_data_by_type(self, data_type):
        # 返回所有session的指定数据类型
        return [getattr(session, data_type) for session in self.sessions]
    
    def calculate_mean_by_type(self, data_type):
        # 封装统计逻辑：计算每个session指定数据类型的均值
        return [np.mean(getattr(session, data_type)) for session in self.sessions]

# 使用示例
session1 = Session("session_1", np.array([1,2,3]), np.array([4,5]), np.array([6]))
session2 = Session("session_2", np.array([7,8]), np.array([9,10]), np.array([11,12,13]))

dataset = Dataset()
dataset.add_session(session1)
dataset.add_session(session2)

# 获取所有data_type_1
all_dt1 = dataset.get_data_by_type("data_type_1")
# 批量计算均值
dt1_means = dataset.calculate_mean_by_type("data_type_1")

优点：可以把常用的分析逻辑封装成方法，代码更整洁，扩展性强；
缺点：需要写类定义，对新手来说门槛稍高。

总结建议 #

• 如果你习惯MATLAB的struct思维，嵌套字典是最直接的选择；
• 如果经常做统计分析、分组对比，pandas分层索引/Series字典效率更高；
• 如果分析流程复杂、需要封装操作，自定义类是更好的方案。

内容的提问来源于stack exchange，提问作者lachieau