Spark RDD转DataFrame时Byte无法转为LongType报错原因咨询

我有一个包含(id,name)列的RDD，其数据类型为(byte, string)。当使用如下Schema将其转换为DataFrame时：

id - LongType
name - StringType

出现错误：

java.lang.RuntimeException: java.lang.Byte is not a valid external type for schema of bigint

Byte的取值范围是-128到127，完全在Long的范围内，且short/integer能正常转为long，Byte却无法转换的原因如下：

• Spark的数值类型自动向上转换有内置规则，仅支持Short -> Integer -> Long的转换链，Byte不在默认的自动转换范围内。
• 针对LongType（对应SQL中的bigint）的ExternalType校验逻辑，只允许java.lang.Long、java.lang.Integer、java.lang.Short作为输入类型，Byte未被纳入允许列表，因此直接映射会触发类型不匹配异常。
• 尽管Byte的数值范围完全被Long覆盖，但Spark框架的类型映射规则没有默认处理Byte到Long的自动转换，这属于框架设计的限制。

解决办法 #

在RDD转换为DataFrame前，手动将Byte类型转为Long类型即可，示例代码如下：

val convertedRDD = originalRDD.map { case (id: Byte, name: String) => (id.toLong, name) }

内容的提问来源于stack exchange，提问作者newbie