pandas字典列空值检测遇ast.literal_eval ValueError报错咨询

• 空值判断失效核心原因：np.nan的特性是不等于任何值，包括自身，因此img_dict == np.nan永远返回False，必须用pandas/numpy内置的空值检测函数判断。
• 报错触发原因：你没有先做空值过滤就直接调用ast.literal_eval解析，碰到NaN/空字符串这类非合法Python字面量的内容，就会抛出解析错误。
• 额外注意：你示例里的defaultdict(<class 'list'>, ...)格式的字符串本身也不是ast.literal_eval支持的解析格式，因为里面包含了<class 'list'>这种非字面量语法，需要先做字符串预处理才能正常解析。

1. 单个值的判断+解析逻辑 #

import pandas as pd
import ast
from collections import defaultdict

# 你的示例DataFrame
df = pd.DataFrame({
    'id': ['7e9zsX7CM4', "y6t451h21"], 
    'img_dict': ["defaultdict(<class 'list'>, {'7e9zsX7CM4': ['https://image_1.png','https://image_2.png']})", ""] 
})

img_dict_raw = df['img_dict'][1]
# 先做统一空值判断，覆盖NaN、空字符串两种场景
if pd.isna(img_dict_raw) or str(img_dict_raw).strip() == "":
    # 空值自定义处理逻辑，比如赋值为空字典
    parsed_dict = {}
else:
    # 先预处理defaultdict的格式问题
    processed_str = str(img_dict_raw).replace("<class 'list'>", "list")
    parsed_dict = ast.literal_eval(processed_str)

2. 批量处理整个img_dict列的写法 #

如果要一次性把整列都解析成字典格式，可以用apply封装逻辑：

def parse_img_dict(raw_val):
    if pd.isna(raw_val) or str(raw_val).strip() == "":
        return {}
    processed_str = str(raw_val).replace("<class 'list'>", "list")
    return ast.literal_eval(processed_str)

df['parsed_img_dict'] = df['img_dict'].apply(parse_img_dict)

• 你之前尝试的if not img_dict碰到np.nan时会失效，因为bool(np.nan)返回True，not np.nan会返回False，无法正确识别空值。
• pd.isna()可以同时覆盖None、np.nan、pd.NA等所有pandas支持的空值类型，是最稳妥的空值判断方式。

内容的提问来源于stack exchange，提问作者kms