SparkSQL中整数与字符串条件查询结果一致的原因咨询

这是因为SparkSQL存在隐式类型转换机制，当查询条件中左右两边类型不匹配时，Spark会自动将其中一方转换为另一方的类型，以此保证比较逻辑的一致性，具体分两种情况：

• 如果<my_column>是字符串类型：Spark会把条件中的整数100隐式转换为字符串'100'，此时两个查询的条件等价于where <my_column> = '100'，自然返回相同结果。
• 如果<my_column>是整数类型：Spark会把条件中的字符串'100'隐式转换为整数100，两个查询的条件等价于where <my_column> = 100，结果也会一致。

补充说明：

• 对于Decimal等兼容数值类型的列，同样会触发类似的隐式转换逻辑。
• 虽然隐式转换能简化写法，但也可能带来意外问题：比如字符串列中存在'100a'这类无法转成整数的值时，使用整数条件会报错；或者字符串'00100'和整数100比较时，转换后会不相等。因此建议尽量保证条件值的类型与列类型一致，避免依赖隐式转换。

内容的提问来源于stack exchange，提问作者Enrique Benito Casado