将Koalas DataFrame添加到EntitySet时报索引名称需完全匹配错误如何解决

核心报错根因说明 #

Index names must be exactly matched currently 报错本质是Featuretools读取Koalas DataFrame时，无法匹配到你指定的索引字段，常见原因都是Koalas/PySpark与Featuretools的适配兼容问题，以下是可直接落地的排查修复步骤：

排查修复步骤 #

• 第一步：确认列名无隐式特殊字符
  不要仅依赖print_schema()的格式化输出，直接执行以下代码打印原始列名列表核对：

print(subset_kdf_fp_eta_gt_prd.columns)

重点检查order_id、request_time_epoch_utc两个字段是否存在前后空格、大小写拼写差异、不可见特殊字符。

• 第二步：删除索引字段的显式逻辑类型声明
  不要为你指定的index字段手动设置logical_type，Featuretools会自动为索引字段适配类型，手动指定反而会触发Koalas版本的适配bug，删掉logical_types字典里的"order_id": Categorical配置项。
• 第三步：修正already_sorted参数类型
  该参数接受布尔值而非字符串，把already_sorted="false"修改为already_sorted=False，字符串类型的参数会导致内部字段匹配逻辑异常。
• 第四步：确认索引字段无空值
  Koalas的空值判断与pandas存在差异，执行以下代码确认索引字段无空值：

# 统计order_id空值数量
print(subset_kdf_fp_eta_gt_prd["order_id"].isna().sum())
# 统计order_id重复值数量
print(subset_kdf_fp_eta_gt_prd["order_id"].duplicated().sum())

如果存在空值/重复值，需要先做数据清洗保证order_id是唯一非空字段。

修正后可运行代码示例 #

es = ft.EntitySet(id="koalas_es")
from woodwork.logical_types import Categorical, Double, Integer, NaturalLanguage, Datetime, Boolean

es.add_dataframe(
    dataframe_name="fp_eta_gt_prd",
    dataframe=subset_kdf_fp_eta_gt_prd,
    index="order_id",
    time_index="request_time_epoch_utc",
    already_sorted=False,
    logical_types={
        "booking_code": Categorical,
        "restaurant_id": Categorical,
        "country_id": Double,
        "inferred_prep_time": Double,
        "inferred_wait_time": Double,
        "is_integrated_model": Categorical,
        "sub_total": Double,
        "total_quantity": Integer,
        "dish_name": NaturalLanguage,
        "sub_total_in_sgd": Double,
        "city_id": Categorical,
        "hour": Categorical,
        "weekday": Categorical,
        "request_time_epoch_utc": Datetime,
        "year": Categorical,
        "month": Categorical,
        "day": Categorical,
        "is_takeaway": Categorical,
        "is_scheduled": Categorical,
    }
)

内容的提问来源于stack exchange，提问作者Mohit Jain