能否将Parquet或Delta格式数据集导入Vertex AI Feature Store

你在GCP控制台观察到的仅显示CSV、BigQuery两种导入选项是正确的，控制台前端目前未开放Parquet、Delta格式的直接导入入口，但这两类格式都可以通过非控制台的方式实现导入。

Parquet格式导入方法 #

Parquet是官方原生支持的导入格式，仅需通过API、Python/Java SDK即可实现从GCS直接导入，不需要额外插件：

• 调用import_feature_values接口时，在gcs_source配置项中指定file_format为PARQUET，传入存储在GCS的Parquet文件路径即可完成导入
• 参考Python SDK示例代码：

from google.cloud import aiplatform

aiplatform.init(project="你的项目ID", location="你的区域")
feature_store = aiplatform.Featurestore("你的Feature Store ID")

entity_type = feature_store.get_entity_type("你的实体类型ID")
entity_type.import_feature_values(
    gcs_source="gs://你的桶路径/parquet_files/*",
    gcs_source_type="parquet",
    entity_id_field="实体ID字段名",
    feature_time_field="特征时间字段名"
)

Delta格式导入方法 #

Vertex AI Feature Store目前没有原生支持Delta格式的直接导入，可通过以下两种常用方案实现：

• 格式中转：使用Spark、DuckDB等工具读取Delta文件，导出为Parquet格式存储到GCS，或写入BigQuery，再按照Parquet/BigQuery的导入流程导入Feature Store
• 批量直接写入：读取Delta文件转换为Pandas/Spark DataFrame后，调用SDK的write_feature_values方法直接批量写入实体类型，无需中间存储文件

内容的提问来源于stack exchange，提问作者teRa123