Python/CSV：基于非完整事件列条件填充EEG整数列并延续值

核心思路 #

• 先将非数值型事件映射为1-8的整数
• 利用向前填充(forward fill) 自动延续事件值到下一个事件出现前，无需复杂条件判断（pandas的ffill方法针对这种场景做了优化，大数据下效率远高于手动循环判断）

代码实现（Python + Pandas） #

假设你的CSV文件名为eeg_data.csv，原事件列名为event，最终生成的新列名为event_code：

import pandas as pd

# 1. 定义事件到整数的映射（根据你的实际事件名称修改）
event_mapping = {
    'Event_Type_A': 1,
    'Event_Type_B': 2,
    'Event_Type_C': 3,
    'Event_Type_D': 4,
    'Event_Type_E': 5,
    'Event_Type_F': 6,
    'Event_Type_G': 7,
    'Event_Type_H': 8
}

# 2. 读取CSV（大数据量时可指定chunksize分块处理，避免内存溢出）
# 常规读取（数据量较小可用）：
df = pd.read_csv('eeg_data.csv')

# 大数据量分块读取示例（单文件超出内存时用）：
# chunk_size = 100000
# chunks = []
# for chunk in pd.read_csv('eeg_data.csv', chunksize=chunk_size):
#     chunk['event_code'] = chunk['event'].map(event_mapping).ffill()
#     chunks.append(chunk)
# df = pd.concat(chunks)

# 3. 生成编码列并自动填充空值
df['event_code'] = df['event'].map(event_mapping).ffill()

# 4. 可选：如果开头存在无事件的空行，可按需填充第一个出现的事件值
# df['event_code'] = df['event_code'].bfill()

# 5. 保存处理后的数据
df.to_csv('processed_eeg_data.csv', index=False)

关键细节说明 #

• map(event_mapping)：将原事件列的字符串事件转换成对应的1-8整数，未匹配到的事件会转为NaN（若有额外事件，记得更新映射字典）
• ffill()：全称forward fill，自动将上一个非空值向下填充，直到遇到下一个非空值，完全匹配你“延续至下一个事件出现”的需求，且底层是向量化操作，比手动写条件循环效率高几个数量级，适配大数据场景
• 分块处理：当数据量超出内存上限时，用chunksize分块读取处理，最后合并结果，避免内存溢出

逻辑验证示例 #

假设原始简化数据如下：

处理后结果：

内容的提问来源于stack exchange，提问作者Austin Lokey