使用pandas的.loc提取jsonl嵌套字段存在对应键却报KeyError如何解决
错误原因
你代码里的.loc是Pandas提供的、用于按标签索引数据结构行/列的方法,而place列存储的是Python字典对象,你把字典键countryCode传入.loc时,Pandas会尝试在place对应的Series的行标签里找countryCode,自然就会触发KeyError。
解决方案
你可以直接用Pandas针对object类型列的.str字典访问能力提取嵌套字段,两种常用写法:
写法1:直接索引(存在键缺失时会返回NaN)
# 保留你原有的过滤非空行的逻辑 country_df = test_df.loc[test_df['place'].notnull(), ['content', 'place']] # 提取countryCode字段 countrycode_df = country_df["place"].str["countryCode"]
写法2:get方法(更稳妥,可自定义默认值)
如果部分place字典可能不存在countryCode键,用这种写法不会抛出异常,找不到键时返回你指定的默认值:
country_df = test_df.loc[test_df['place'].notnull(), ['content', 'place']] # 找不到countryCode时返回None,你也可以改成其他默认值 countrycode_df = country_df["place"].str.get("countryCode", default=None)
如果你的数据量非常大,也可以用apply方法提升性能:
countrycode_df = country_df["place"].apply(lambda x: x.get("countryCode"))
注意:如果你读取jsonl时
place列被解析为字符串而非字典,需要先做一次类型转换:import json test_df['place'] = test_df['place'].apply(lambda x: json.loads(x) if isinstance(x, str) and x else None)
内容的提问来源于stack exchange,提问作者someone u don't know
相关产品推荐
相关产品推荐

