如何将Pandas DataFrame保存为libsvm格式的TXT文件？

首先要注意你提供的原始数据存在字典键重复的问题：Python字典中重复的键会被最后一个对应的值覆盖，比如你定义的'0'出现两次，最终只会保留第二个[0.4967, 0.4967,0.4967]；'2'出现三次，最终只会保留最后一个[0.4967, 0.4967,0.4967]。这会导致特征数据丢失，所以先修正数据结构，确保每个特征ID对应唯一的列。

步骤1：修正并准备正确的DataFrame #

假设你的特征列是按ID（0、1、2、3、4）对应数值，修正后的数据示例如下：

import pandas as pd

# 修正后的数据：每个特征ID对应唯一列，无重复键
data = {
    'label': [2, 3, 2],
    'qid': ['qid:0', 'qid:1', 'qid:0'],
    '0': [0.4967, 0.4967, 0.4967],
    '1': [0.4967, 0.4967, 0.4967],
    '2': [0.4967, 0.4967, 0.4967],
    '3': [3.0, 3.0, 3.0],
    '4': [4.0, 4.0, 4.0]
}

df = pd.DataFrame(data)

步骤2：编写转换函数生成目标格式 #

我们可以逐行处理DataFrame，拼接成要求的格式：

def df_to_libsvm_with_qid(df, output_path):
    # 分离标签、qid和特征列
    label_col = 'label'
    qid_col = 'qid'
    feat_cols = [col for col in df.columns if col not in [label_col, qid_col]]
    
    with open(output_path, 'w') as f:
        for _, row in df.iterrows():
            # 拼接开头的label和qid
            line_parts = [str(row[label_col]), row[qid_col]]
            # 拼接每个特征的"id:value"格式
            for feat_id in feat_cols:
                feat_val = row[feat_id]
                # 可根据需求调整小数位数，这里保留4位
                line_parts.append(f"{feat_id}:{feat_val:.4f}")
            # 拼接整行并写入文件
            f.write(' '.join(line_parts) + '\n')

# 使用函数生成目标文件
df_to_libsvm_with_qid(df, 'output.libsvm.txt')

步骤3：验证输出结果 #

生成的output.libsvm.txt内容如下，完全匹配你需要的格式：

2 qid:0 0:0.4967 1:0.4967 2:0.4967 3:3.0000 4:4.0000
3 qid:1 0:0.4967 1:0.4967 2:0.4967 3:3.0000 4:4.0000
2 qid:0 0:0.4967 1:0.4967 2:0.4967 3:3.0000 4:4.0000

可选优化 #

• 如果需要控制小数位数，可调整:.4f为你需要的格式（比如:.8f保留8位小数）
• 如果特征列的ID不是按顺序排列，可先对feat_cols排序，确保特征顺序一致：feat_cols = sorted([col for col in df.columns if col not in [label_col, qid_col]], key=int)

内容的提问来源于stack exchange，提问作者Tartaglia