如何使用Apache Spark Python Core API正确连接三个RDD
多RDD关联失败的核心原因
RDD的join操作逻辑非常简单:只会基于两个RDD各自存储的(key, value)结构中的key做等值匹配,key值相等才会拼接对应value,key不匹配的条目会被直接过滤,不会自动按照同名字段完成关联。
你之前的代码存在key不匹配的问题:
- 第一次关联
users_rdd和reviews_rdd时,二者都以user_id为key,能正常匹配。关联完成后的RDD结构为(user_id, (user信息字典, review信息字典)),此时这个RDD的当前key是user_id。 - 你后续直接拿这个结果去join以
company_id为key的companies_rdd,两边用来匹配的key一个是user_id、一个是company_id,取值范围完全没有重叠,自然无法关联出正确结果,这就是程序运行异常的根源。
正确的多RDD关联实现步骤
每一步join前必须保证待关联的两个RDD的key是同一个关联字段,具体实现按字段流转逻辑分三步:
- 第一步:完成users与reviews的第一次关联(和你现有可正常运行的代码逻辑一致)
user_rev_rdd = ( users_rdd.keyBy(lambda user: user['user_id']) .join(reviews_rdd.keyBy(lambda rev: rev['user_id'])) ) # 输出结构:(user_id, (user_dict, review_dict)) - 第二步:调整第一次关联结果的key,替换为review字段中存储的
company_id,和companies_rdd的key保持一致# 提取review内的company_id作为新的关联key,保留原有值结构 user_rev_with_com_key = user_rev_rdd.map( lambda item: ( item[1][1]['company_id'], item[1] ) ) # 输出结构:(company_id, (user_dict, review_dict)) - 第三步:将调整key后的RDD与
companies_rdd完成最终关联user_rev_com_rdd = user_rev_with_com_key.join( companies_rdd.keyBy(lambda com: com['company_id']) ) # 最终关联结果结构:(company_id, ((user_dict, review_dict), company_dict))
实用优化提示
- 如果不需要保留外层的关联key,可以通过map操作将嵌套的结构化数据拍平,得到符合日常使用习惯的字典格式:
flat_result_rdd = user_rev_com_rdd.map( lambda item: { 'user_info': item[1][0][0], 'review_info': item[1][0][1], 'company_info': item[1][1] } ) - 若三个RDD存在数据量较小的表(比如存储全量企业信息的
companies_rdd),可在join前对小表执行广播操作,减少shuffle阶段的网络传输开销,提升运行效率。
内容的提问来源于stack exchange,提问作者user15347244
相关产品推荐
相关产品推荐

