启用向量化执行时Hive查询失败，禁用后正常求原因

这个问题我之前帮不少开发者排查过，咱们从异常栈和Hive向量化执行的核心逻辑来拆解：

核心异常定位 #

先看最关键的异常栈片段：

Caused by: java.lang.NullPointerException
at java.lang.System.arraycopy(Native Method)
at org.apache.hadoop.io.Text.set(Text.java:225)
at org.apache.hadoop.hive.ql.exec.vector.expressions.VectorExpressionWriterFactory$6.writeValue(VectorExpressionWriterFactory.java:686)

这里的NPE直接触发在System.arraycopy调用，根源是向量化执行的字符串字段写入逻辑遇到了未正确处理的NULL值。当代码尝试把一个NULL字符串的字节数组拷贝到目标容器时，源数组是null，导致arraycopy抛出空指针异常。

向量化执行的特性与bug根源 #

Hive的向量化执行是为了提升批量数据处理性能，它把多行数据打包成"向量"批量操作，而非逐行处理。但在某些早期Hive版本中，向量化执行的字符串字段writer存在bug：

• 当字段值为NULL时，代码没有提前判断NULL状态，直接尝试对NULL值执行字节拷贝操作；
• 非向量化模式下，Hive是逐行处理的，会逐个检查字段是否为NULL，跳过对NULL值的无效拷贝操作，所以不会触发这个问题。

匹配你的查询场景 #

你过滤了properties_item_language='hi'，但视图orc_card_view对应的底层数据里，大概率存在其他字符串字段为NULL的行——这些行在向量化批量处理时触发了上述bug。而禁用向量化后，逐行处理的逻辑自然规避了这个问题，所以查询成功。

可行的解决办法 #

• 升级Hive版本：这个NULL值处理的bug在Hive 2.3.0及以后的稳定版本中已经被修复，升级是最彻底的解决方案；
• 临时规避：像你已经做的那样，在当前会话中执行set hive.vectorized.execution.enabled=false;禁用向量化，或者针对单个查询设置这个参数；
• 数据预处理：如果暂时无法升级Hive，可以提前过滤掉含NULL字符串字段的行，或者将NULL值替换为空字符串，避免触发bug。

内容的提问来源于stack exchange，提问作者Anuj jain