You need to enable JavaScript to run this app. Spark Scala DataFrame按对应日期匹配汇率将GBP/EUR转为USD的实现方法
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala DataFrame按对应日期匹配汇率将GBP/EUR转为USD的实现方法

实现方案

对比你当前引入外部CurrencyConverter包的思路,完全可以用Spark原生DataFrame操作实现,无需引入第三方货币转换依赖,既避免额外的包版本兼容、集群拉取失败的问题,逻辑也更透明易排查,完全匹配按日期动态匹配汇率的需求,具体步骤如下:

第一步:对齐两张表的字段格式

两张表读取CSV后默认都是字符串类型,必须先规整字段类型和命名,否则会出现关联匹配失效的问题:

  • 把主表df的日期字段date,和汇率表的INSERTTIME统一为相同格式的日期/字符串类型
  • 把汇率表的汇率字段从字符串转为浮点数值类型
  • 把汇率表的币种字段名、日期字段名和主表命名对齐,简化后续关联逻辑

第二步:按日期+币种关联匹配汇率

汇率表仅存储GBP、EUR两类币种的汇率,USD作为计价基准不需要匹配,直接对两张表做左关联即可。关联条件同时匹配 日期 和 币种,保证取到对应某天对应币种的准确汇率。

第三步:计算统一USD计价的数值

针对关联后的结果做空值兜底处理:

  • 匹配不到汇率的行(即原数据本身为USD的行),汇率兜底为1,原价值不做转换
  • 匹配到汇率的GBP/EUR行,根据实际汇率的计价方向做对应换算

可直接复用的示例代码

// 1. 规整主表字段格式
val dfStd = df.withColumn("date", col("date").cast("string"))

// 2. 规整汇率表字段格式(注意原表列名存在拼写偏差,按实际列名调整)
val rateStd = exchange_rate
  .withColumnRenamed("INSERTTIME", "date")
  .withColumnRenamed("EXCAHNGERATE", "rate")
  .withColumnRenamed("CURRENCY", "currency")
  .withColumn("date", col("date").cast("string"))
  .withColumn("rate", col("rate").cast("double"))

// 3. 左关联匹配对应日期、币种的汇率
val joinedDF = dfStd.join(rateStd, Seq("date", "currency"), "left")

// 4. 计算USD计价的最终结果
val resultDF = joinedDF
  // 原数据为USD的行关联后rate为空,兜底为1
  .withColumn("rate", coalesce(col("rate"), lit(1.0)))
  // 按实际汇率方向调整计算逻辑:若汇率是"1单位原币兑换的USD金额",直接相乘;若为"1USD兑换的原币金额",改为相除
  .withColumn("value_usd", col("value") * col("rate"))

关键注意事项

  • 提前确认汇率表的计价方向,避免换算逻辑反向:当前给出的汇率数值若为1USD兑换的GBP/EUR金额,则需要把计算逻辑改为col("value") / col("rate")
  • 上线前校验关联结果,对存在日期、币种不匹配的异常行(既不是USD也不在汇率表内的记录)增加告警,避免被兜底逻辑错误按汇率1计算
  • 相比第三方转换工具,原生方案不需要在集群环境上传额外依赖包,后续新增币种、调整汇率逻辑只需要修改汇率表内容即可,无需改动核心计算代码

内容的提问来源于stack exchange,提问作者Khaned

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 15:54:04