如何将PySpark DataFrame中会计格式括号负数转换为负号数值
解决方案
错误原因说明
- 硬编码
substr长度的方案缺陷:因为销售数值的位数不固定,substr(2,3)固定提取从第2位开始的3个字符,当括号内数字位数不等于2时,会把末尾的右括号一同保留,导致转换异常。 regexp_replace报错原因:(是正则表达式中的特殊元字符,用于标识捕获组的开始,你未转义直接传入(作为匹配规则,正则解析器会判定捕获组未闭合,因此抛出PatternSyntaxException异常。
实现方案
方案1:严谨匹配转换(推荐)
仅对完全被括号包裹的数值做转换,不会误处理字段中其他位置出现的括号,稳定性更高:
from pyspark.sql import functions as sf sales = ( df .select('sales') .withColumn('sales_new', sf.when( # 匹配完全被括号包裹的字符串 sf.col('sales').rlike(r'^\(.*\)$'), # 提取括号内的数字,前面拼接负号 sf.concat(sf.lit('-'), sf.regexp_extract(sf.col('sales'), r'^\((.*)\)$', 1)) ) .otherwise(sf.col('sales')) .cast('int') # 可选,直接转换为整数类型方便后续计算 ) )
方案2:极简替换
如果确认sales字段中仅包含数字和包裹负数的括号,没有其他括号类字符,可以用两次替换快速实现:
from pyspark.sql import functions as sf sales = ( df .select('sales') .withColumn('sales_new', # 先把左括号替换为负号,再删除所有右括号 sf.regexp_replace(sf.regexp_replace(sf.col('sales'), r'\(', '-'), r'\)', '') .cast('int') ) )
两种方案都可以实现(5)转-5、(94)转-94、正数字符保留原值的需求。
内容的提问来源于stack exchange,提问作者cs_guy
相关产品推荐
相关产品推荐

