如何使用storey与pandas双引擎向同一ParquetTarget写入数据?
问题:使用storey和pandas双引擎Ingest写入同一ParquetTarget失败,单引擎多目标写入可行
尝试使用storey和pandas两个不同引擎的Ingest向同一个ParquetTarget写入数据,但未能成功实现。
通过feature_set.set_targets实现单个引擎向两个不同目标并行写入是可行的,示例代码如下:
project = mlrun.get_or_create_project(name, context='./', user_project=False) feature_set = fstore.FeatureSet(feature_name, entities=[fstore.Entity("km", description='km description')], engine="storey") feature_set.set_targets(targets=[mlrun.datastore.ParquetTarget(), mlrun.datastore.NoSqlTarget()], with_defaults=False) ... fstore.ingest(feature_set, frm)
注:这么做的主要动机是节省v3io文件系统的存储空间。
内容的提问来源于stack exchange,提问作者XiongChan
相关产品推荐
相关产品推荐

