如何从含标签与4个特征的TXT文件创建Spark DataFrame？

原代码的问题在于，文件中特征列的格式是索引:值的字符串（比如1:5.1），但你定义的schema将特征列指定为FloatType，Spark无法直接将带冒号的字符串转换为浮点数，因此特征列返回null。

以下是两种可行的解决方案：

方案一：手动解析每行数据 #

先按字符串格式加载所有列，再逐个解析标签和特征值：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, FloatType
from pyspark.sql.functions import split, element_at

spark = SparkSession.builder.appName("LoadCustomData").getOrCreate()

# 先以字符串格式加载所有列，避免解析失败
temp_df = spark.read.option("delimiter", " ").csv("file_path", schema=StructType([
    StructField("label_str", StringType(), nullable=False),
    StructField("f1_str", StringType(), nullable=False),
    StructField("f2_str", StringType(), nullable=False),
    StructField("f3_str", StringType(), nullable=False),
    StructField("f4_str", StringType(), nullable=False)
]))

# 解析标签和特征值
df = temp_df.select(
    temp_df.label_str.cast(FloatType()).alias("label"),
    element_at(split(temp_df.f1_str, ":"), 2).cast(FloatType()).alias("feature1"),
    element_at(split(temp_df.f2_str, ":"), 2).cast(FloatType()).alias("feature2"),
    element_at(split(temp_df.f3_str, ":"), 2).cast(FloatType()).alias("feature3"),
    element_at(split(temp_df.f4_str, ":"), 2).cast(FloatType()).alias("feature4")
)

df.show()

方案二：利用Spark MLlib的LibSVM读取器（更简洁） #

你的文件格式完全符合LibSVM格式（标签 + 空格分隔的索引:值特征对），可以直接用Spark MLlib提供的读取器加载，再按需拆分特征向量：

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf
from pyspark.sql.types import ArrayType, FloatType

spark = SparkSession.builder.appName("LoadLibSVMData").getOrCreate()

# 直接加载LibSVM格式文件，得到包含label和features（Vector类型）的DataFrame
libsvm_df = spark.read.format("libsvm").load("file_path")

# 如果需要将Vector类型的特征拆分为单独的列，可添加以下步骤
vector_to_array = udf(lambda vec: vec.toArray().tolist(), ArrayType(FloatType()))
df = libsvm_df.withColumn("features_array", vector_to_array(libsvm_df.features)) \
    .select(
        "label",
        libsvm_df.features_array[0].alias("feature1"),
        libsvm_df.features_array[1].alias("feature2"),
        libsvm_df.features_array[2].alias("feature3"),
        libsvm_df.features_array[3].alias("feature4")
    )

df.show()

说明：方案二的libsvm读取器会自动将特征解析为Vector类型，适合后续机器学习任务；如果需要单独的特征列，再通过UDF将Vector转为数组后提取元素即可。

内容的提问来源于stack exchange，提问作者Michael K.W