PySpark使用concat函数拼接字符串常量时抛出异常求助

你误用了pandas的concat函数来拼接普通字符串——这个函数是专门用来合并DataFrame、Series这类数据结构的，根本不是用来处理单个字符串的，这就是报错的原因。

正确的普通字符串拼接方法： #

• 直接用加号拼接：

  xpath_text = 'test' + 'test'
  

• 如果用变量，用f-string更清晰：

  str1 = 'test'
  str2 = 'test'
  xpath_text = f'{str1}{str2}'
  

• 或者用str.join()方法（适合多个字符串拼接）：

  xpath_text = ''.join(['test', 'test'])
  

关于报错的说明： #

你执行concat('test', 'test')时，pandas的concat函数无法识别单个字符串作为输入，底层通过Py4J调用Java方法时找不到匹配的__getnewargs__方法，因此抛出了Py4JException错误。注释掉该行后，错误触发点消失，程序自然恢复正常。

内容的提问来源于stack exchange，提问作者misiek8v