MLRun FeatureStore写入Parquet后，PySpark读取报无法推断Schema错误

可行解决方案 #

1. 使用MLRun FeatureStore原生API读取（推荐） #

MLRun FeatureStore维护了FeatureSet的元数据和Schema信息，直接用它的读取接口可以跳过手动处理路径和Schema的问题：

# 加载已保存的FeatureSet
feature_set = fstore.get_feature_set(f"store://feature-sets/{project_name}/FS-ingest")
# 读取数据为Spark DataFrame
read_df = fstore.read(feature_set, spark_context=spark)
read_df.show()

2. 手动指定Schema读取 #

如果必须直接用PySpark读取，需要从FeatureSet中获取Schema并手动传入：

from pyspark.sql.types import StructType

# 从FeatureSet获取Schema定义并转换为Spark StructType
fs_schema = feature_set.spec.schema
spark_schema = StructType.fromJson(fs_schema.to_dict())

# 指定Schema读取Parquet文件
newDF1 = spark.read.schema(spark_schema).parquet(f"v3io://projects/{project_name}/FeatureStore/FS-ingest")
newDF1.show()

3. 确认Parquet文件的实际存储路径 #

MLRun的ParquetTarget会在指定根路径下创建子目录（比如按目标名称s1划分），你访问的根目录可能没有直接的Parquet数据文件。可以用v3io CLI查看目录结构：

v3io ls -r v3io://projects/{project_name}/FeatureStore/FS-ingest

确认后修改路径为实际数据所在的子目录，比如v3io://projects/{project_name}/FeatureStore/FS-ingest/s1/，再尝试读取。

问题原因分析 #

1. 目录结构差异：MLRun不会将Parquet文件直接写入你指定的根路径，而是按FeatureSet版本、目标名称等创建嵌套子目录，导致Spark访问的根目录下没有可用于推断Schema的数据文件。
2. Schema元数据不兼容：MLRun FeatureSet的Schema可能包含Spark默认推断逻辑无法识别的类型或扩展元信息，必须手动指定才能正确解析。

内容的提问来源于stack exchange，提问作者JIST