You need to enable JavaScript to run this app. Pyspark df.select()实现多币种横向表到行堆叠结构的转换
优惠活动
大模型
产品
解决方案
定价
更多

Pyspark df.select()实现多币种横向表到行堆叠结构的转换

实现方案

前置修正:原代码的语法问题

原代码中requests.get行存在语法粘连,会直接触发执行错误,需要拆分修正:

# 错误写法
r = requests.get(uri)rdd = sc.parallelize([r.text])
# 修正后
r = requests.get(uri)
rdd = sc.parallelize([r.text])

同时需补充Spark函数依赖导入,避免调用报错:

from pyspark.sql import functions as F

两种实现路径

  • 方案1:硬编码币种(最小改动,适配固定币种场景)
    核心逻辑是将每个币种单独提取为独立小DataFrame,通过union做纵向堆叠,替代原有的横向拍平同名字段的逻辑。
    代码片段:
    # 逐币种提取独立数据集
    btc_df = json_df.select(
        F.col('RAW.BTC.JPY.FROMSYMBOL').alias('FROMSYMBOL'),
        F.col('RAW.BTC.JPY.PRICE').alias('PRICE'),
        F.col('RAW.BTC.JPY.LASTUPDATE').alias('LASTUPDATE')
    )
    xrp_df = json_df.select(
        F.col('RAW.XRP.JPY.FROMSYMBOL').alias('FROMSYMBOL'),
        F.col('RAW.XRP.JPY.PRICE').alias('PRICE'),
        F.col('RAW.XRP.JPY.LASTUPDATE').alias('LASTUPDATE')
    )
    eth_df = json_df.select(
        F.col('RAW.ETH.JPY.FROMSYMBOL').alias('FROMSYMBOL'),
        F.col('RAW.ETH.JPY.PRICE').alias('PRICE'),
        F.col('RAW.ETH.JPY.LASTUPDATE').alias('LASTUPDATE')
    )
    
    # 纵向合并为最终表
    final_df = btc_df.union(xrp_df).union(eth_df)
    
  • 方案2:动态适配币种(无硬编码,适配base_curr可变更场景)
    如果base_curr是动态配置参数,无需每次手动新增币种分支,可以直接解析JSON结构,用explode将每个币种子节点拆分为独立行,自动适配任意币种数量:
    代码片段:
    # 自动从JSON结构中读取所有RAW节点下的币种key(即BTC/XRP/ETH等)
    crypto_list = json_df.schema["RAW"].dataType.names
    
    # 构造币种到行情数据的映射关系,拆分多行后提取目标字段
    final_df = json_df.select(
        # 将所有币种下的JPY行情构造为Map结构
        F.explode(
            F.map(
                *[kv for crypto in crypto_list for kv in (F.lit(crypto), F.col(f"RAW.{crypto}.JPY"))]
            )
        ).alias("FROMSYMBOL", "jpy_info")
    ).select(
        "FROMSYMBOL",
        F.col("jpy_info.PRICE").alias("PRICE"),
        F.col("jpy_info.LASTUPDATE").alias("LASTUPDATE")
    )
    

效果验证

两种方案执行后,final_df均会输出纵向堆叠的目标结构:每行对应一个币种,三个字段统一,不存在重复同名字段的横向排布问题,直接调用final_df.show()即可得到预期的表格式样。

内容的提问来源于stack exchange,提问作者delalma

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 06:15:04