基于Python的PrefixSpan挖掘频繁序列遇运行问题求助

尝试使用PrefixSpan算法识别频繁序列，设置最小支持度阈值为0.2，挖掘长度在2至6个动作之间的序列（顺序敏感）。数据来自学生课堂活动行为路径，输出合格序列及其出现次数的CSV文件。当前程序运行极慢或输出空文件。

修复后完整代码 #

import csv
import ast
from prefixspan import PrefixSpan
from math import ceil

def PS_run(input_file, output_file, min_support_percent=20):
    try:
        # 读取CSV并解析序列数据
        sequences = []
        with open(input_file, 'r', newline='', encoding='utf-8') as file:
            reader = csv.reader(file)
            next(reader)  # 跳过表头（无表头则注释此行）
            for row in reader:
                if len(row) < 3:
                    continue  # 跳过无效行
                # 安全解析字符串格式的动作列表
                try:
                    activity_seq = ast.literal_eval(row[2])
                    if isinstance(activity_seq, list):
                        sequences.append(activity_seq)
                except (ValueError, SyntaxError):
                    print(f"跳过无效序列行：{row}")
                    continue

        if not sequences:
            print("没有有效序列数据")
            return

        # 计算最小支持度（向上取整避免阈值偏差）
        total_seq = len(sequences)
        min_support = ceil(total_seq * (min_support_percent / 100))
        print(f"总序列数：{total_seq}，最小支持度阈值：{min_support}")

        # 初始化PrefixSpan并限制挖掘最大长度
        ps = PrefixSpan(sequences)
        frequent_patterns = ps.frequent(min_support, max_len=6)

        # 筛选长度在2-6之间的序列
        filtered_patterns = [
            (pattern, support) for pattern, support in frequent_patterns
            if 2 <= len(pattern) <= 6
        ]

        if not filtered_patterns:
            print("没有符合条件的频繁序列")
            return

        # 写入输出CSV
        with open(output_file, 'w', newline='', encoding='utf-8') as out_file:
            writer = csv.writer(out_file)
            writer.writerow(["频繁序列", "出现次数"])
            for pattern, support in filtered_patterns:
                writer.writerow([str(pattern), support])

        print(f"完成！共写入{len(filtered_patterns)}条符合条件的频繁序列")

    except Exception as e:
        print(f"错误：{str(e)}")

关键修复与优化点 #

• 数据解析修正：
  • 用ast.literal_eval替代危险的eval，安全解析字符串格式的动作列表（如"['1','2','3']"转为真实Python列表）
  • 增加无效行检查，跳过格式错误或长度不足的行，避免程序崩溃
• 序列长度控制：
  • 挖掘时通过max_len=6直接缩小算法搜索范围，大幅降低运行耗时
  • 后续筛选长度≥2的序列，确保只输出符合要求的2-6长度序列
• 支持度计算优化：
  • 用ceil向上取整计算最小支持度，避免浮点数精度问题导致阈值偏差
  • 打印总序列数和阈值，方便验证参数合理性
• 性能提升：
  • 提前过滤无效序列，减少无效数据参与计算
  • 限制最大挖掘长度，从根源压缩算法搜索空间
• 异常处理增强：
  • 细化解析阶段异常捕获，打印无效行信息便于排查数据问题
  • 增加空序列检查，提前终止流程并给出明确提示

内容的提问来源于stack exchange，提问作者Jeremy