使用PySpark saveAsLibSVMFile保存LibSVM数据时索引异常、格式不符

看你的代码，问题出在LabeledPoint的features参数构造上：你把line[1:]包装成了一个嵌套列表[line[1:]]，这会导致生成的特征是一个包含单个向量的集合，而LibSVM格式要求特征是一维的键值对序列（索引从1开始）。

举个例子，如果你的原始数据每行是(label, f1, f2, f3)，那么[line[1:]]会把特征变成[[f1,f2,f3]]，这不符合LabeledPoint对特征的要求——它需要的是一个一维的可迭代对象（比如列表、numpy数组或者Spark的Vector），而不是嵌套列表。

修正后的代码 #

from pyspark.mllib.util import MLUtils
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.linalg import Vectors  # 可选，用于显式生成Spark向量

# 正确构造LabeledPoint：直接传入line[1:]，不要嵌套列表
d = c.map(lambda line: LabeledPoint(line[0], line[1:]))
# 推荐写法：显式转换成Spark的DenseVector，避免类型歧义
# d = c.map(lambda line: LabeledPoint(line[0], Vectors.dense(line[1:])))

MLUtils.saveAsLibSVMFile(d, "D://spark-warehouse/part1")

为什么这样改？ #

• LabeledPoint的第二个参数需要的是一维特征集合，如果传嵌套列表，MLUtils在解析成LibSVM格式时会把外层列表当成一个无效的特征组，导致输出格式混乱。
• 直接用line[1:]（或显式转成Spark Vector）后，Spark会自动识别为合法的一维特征序列，保存时就能生成标准的LibSVM格式：每行是label index1:value1 index2:value2 ...的形式。

你可以再运行print(d.take(3))验证，此时LabeledPoint的features应该是DenseVector([...])或一维列表结构，而非嵌套形式，之后保存的文件就符合LibSVM格式要求了。

内容的提问来源于stack exchange，提问作者Carmelo Smith