You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

PySpark RDD split属性错误排查:筛选指定日期数据失败

解决Spark RDD Row对象调用split方法的AttributeError问题

嘿,我一眼就瞅出问题所在啦!你碰到的AttributeError: split错误,根源是把Spark的Row对象当成字符串来处理了~

错误原因拆解

你的insuredatarepart RDD里的元素是Spark的Row对象(样例像Row(BusinessDate=u'01-10-2019', DentalOnlyPlan=u'No', ...)),这是Spark用来存储结构化数据的专用类型,它压根没有split方法。你之前写的map(lambda y: y.split(",",-1))试图对Row对象调用字符串的split方法,自然会抛出属性不存在的错误。

正确的过滤写法

完全不需要做split操作,直接在filter里访问Row的BusinessDate属性就能筛选目标数据,代码修改如下:

print("\n ### Filter RDD by business date field:") 
rdd_201901001 = insuredatarepart.filter(lambda row: row.BusinessDate == u'01-10-2019') 
print(" ### count of rdd_201901001:",rdd_201901001.count())

额外小提示

如果之后你需要把Row转换成可遍历的结构,比如字典或者列表,可以用row.asDict()获取键值对字典,或者row[:]获取所有字段的列表,但在这个筛选日期的场景里,直接访问字段属性是最简洁高效的方式,没必要多做一步split操作哦。

内容的提问来源于stack exchange,提问作者RSH

火山引擎 最新活动