Kedro Data Catalog是否支持.arrow文件？配置报错如何解决？

错误原因 #

你碰到的DataSetError是两个问题导致的：

1. 类路径写错了——arrow.ArrowDataSet不是Kedro认可的数据集类路径；
2. 单独安装arrow包不够，Kedro的Arrow数据集实现封装在kedro-datasets扩展包中，需要单独安装。

解决步骤 #

1. 安装必要依赖 #

执行以下命令，安装Kedro官方的Arrow数据集扩展包（会自动包含所需的Arrow依赖）：

pip install kedro-datasets[arrow]

2. 修正catalog.yml配置 #

修改conf/base/catalog.yml中的配置，使用正确的类路径：

dataframe:
  type: kedro_datasets.arrow.ArrowDataSet
  filepath: "home/place/data.arrow"
  layer: primary
  # 可选：添加自定义读写参数，比如指定压缩格式或线程数
  # load_args:
  #   use_threads: true
  # save_args:
  #   compression: snappy

额外说明 #

• kedro_datasets.arrow.ArrowDataSet是Kedro官方维护的数据集类，支持读写Pandas或PyArrow格式的DataFrame；
• 如需自定义Arrow的读写行为，可在load_args/save_args中添加PyArrow对应的参数。

内容的提问来源于stack exchange，提问作者Jamal Rnjbal