Pyspark df.select()实现多币种横向表到行堆叠结构的转换
实现方案
前置修正:原代码的语法问题
原代码中requests.get行存在语法粘连,会直接触发执行错误,需要拆分修正:
# 错误写法 r = requests.get(uri)rdd = sc.parallelize([r.text]) # 修正后 r = requests.get(uri) rdd = sc.parallelize([r.text])
同时需补充Spark函数依赖导入,避免调用报错:
from pyspark.sql import functions as F
两种实现路径
- 方案1:硬编码币种(最小改动,适配固定币种场景)
核心逻辑是将每个币种单独提取为独立小DataFrame,通过union做纵向堆叠,替代原有的横向拍平同名字段的逻辑。
代码片段:# 逐币种提取独立数据集 btc_df = json_df.select( F.col('RAW.BTC.JPY.FROMSYMBOL').alias('FROMSYMBOL'), F.col('RAW.BTC.JPY.PRICE').alias('PRICE'), F.col('RAW.BTC.JPY.LASTUPDATE').alias('LASTUPDATE') ) xrp_df = json_df.select( F.col('RAW.XRP.JPY.FROMSYMBOL').alias('FROMSYMBOL'), F.col('RAW.XRP.JPY.PRICE').alias('PRICE'), F.col('RAW.XRP.JPY.LASTUPDATE').alias('LASTUPDATE') ) eth_df = json_df.select( F.col('RAW.ETH.JPY.FROMSYMBOL').alias('FROMSYMBOL'), F.col('RAW.ETH.JPY.PRICE').alias('PRICE'), F.col('RAW.ETH.JPY.LASTUPDATE').alias('LASTUPDATE') ) # 纵向合并为最终表 final_df = btc_df.union(xrp_df).union(eth_df) - 方案2:动态适配币种(无硬编码,适配base_curr可变更场景)
如果base_curr是动态配置参数,无需每次手动新增币种分支,可以直接解析JSON结构,用explode将每个币种子节点拆分为独立行,自动适配任意币种数量:
代码片段:# 自动从JSON结构中读取所有RAW节点下的币种key(即BTC/XRP/ETH等) crypto_list = json_df.schema["RAW"].dataType.names # 构造币种到行情数据的映射关系,拆分多行后提取目标字段 final_df = json_df.select( # 将所有币种下的JPY行情构造为Map结构 F.explode( F.map( *[kv for crypto in crypto_list for kv in (F.lit(crypto), F.col(f"RAW.{crypto}.JPY"))] ) ).alias("FROMSYMBOL", "jpy_info") ).select( "FROMSYMBOL", F.col("jpy_info.PRICE").alias("PRICE"), F.col("jpy_info.LASTUPDATE").alias("LASTUPDATE") )
效果验证
两种方案执行后,final_df均会输出纵向堆叠的目标结构:每行对应一个币种,三个字段统一,不存在重复同名字段的横向排布问题,直接调用final_df.show()即可得到预期的表格式样。
内容的提问来源于stack exchange,提问作者delalma
相关产品推荐
相关产品推荐

