Scrapy Item字段检测报错:has_key不可用,求替代检测方案
解决Scrapy Item检测字段是否存在的问题
嗨,我之前也踩过这个坑!Scrapy的Item对象虽然底层基于字典实现,但它并没有提供has_key()方法——而且这个方法本身在Python 3里已经被移除了,就算是Python 2环境下用Scrapy Item也不支持直接调用它,这就是你碰到AttributeError: has_key的原因。
不用has_key()的话,有几种更靠谱的方式来检测字段是否已设置:
1. 使用in关键字(最推荐)
这是Python里检查字典键是否存在的标准写法,Scrapy Item完全支持这个操作:
if 'description' in listing: # 字段已存在的逻辑 pass
这个方法会准确判断字段是否被添加到Item中,不管字段值是None还是空字符串都能正确识别。
2. 使用get()方法判断值是否有效
如果你不仅要检查字段是否存在,还要确保它有非空值,可以用get()方法:
# 严格检查字段存在且值不为None if listing.get('description') is not None: pass # 简洁写法(注意:空字符串、数字0等"假值"会被判定为False) if listing.get('description'): pass
不过要注意,第二种简洁写法会把空字符串、数字0这类“假值”当成不存在,所以要根据你的业务需求选择。
为什么has_key()会报错?
Scrapy Item重写了__getattr__方法,当你尝试访问listing.has_key时,它会把has_key当成一个字段名去查找,而不是当成方法调用,所以就抛出了属性不存在的错误。
内容的提问来源于stack exchange,提问作者Aminah Nuraini
相关产品推荐
相关产品推荐

