GCC -O3优化Smi指针判断逻辑触发的是哪类未定义行为？

实现背景 #

我正在开发一款采用典型Smi（小整数）编码的虚拟机，该编码方案通过带标记指针表示整数：对指针设置标记位，整数值经移位操作存储，这与V8、Dart引擎采用的实现思路一致。

Smi模块现有实现 #

// In smi.h

#include <stdint.h>

class Object {
 public:
  bool is_smi() const { return (reinterpret_cast<uintptr_t>(this) & 0x1) == 0; }
};

class Smi : public Object {
 public:
  intptr_t value() const { return reinterpret_cast<intptr_t>(this) >> 1; }
  static Smi* from(intptr_t value) { return reinterpret_cast<Smi*>(value << 1); }
  static Smi* cast(Object* obj) { return static_cast<Smi*>(obj); }
};

异常现象 #

使用GCC 12.1.0搭配-O3优化等级编译时，下述bad_optim函数会出现不符合预期的优化：当入参o为Smi值0时，if分支永远不会被触发执行。

// bad_optim.cc
#include "smi.h"

void bad_optim(Object* o) {
  if (!o->is_smi() || o == Smi::from(0)) {
    printf("in if\n");
  }
}

将if判断替换为如下写法后，检查逻辑可正常运行：

if (!o->is_smi() || Smi::cast(o)->value() == 0) {

复现方式 #

bad_optim和main函数需要分开编译才能触发该异常行为，main函数代码如下：

// main.cc
#include "smi.h"

void bad_optim(Object* o);

int main() {
  Smi* o = Smi::from(0);
  bad_optim(o);
  return 0;
}

问题根因 #

该异常优化确实由C++未定义行为触发，核心逻辑如下：

• Smi::from(0)的返回值是空指针值：入参0左移1位后仍为0，经reinterpret_cast转为指针类型后，符合C++标准定义的空指针（nullptr）语义。
• GCC基于未定义行为做了激进优化：代码中首先调用了o->is_smi()，编译器会默认o是指向有效Object实例的非空指针——对空指针调用成员函数属于明确的未定义行为，因此GCC直接判定后续o == Smi::from(0)（即o == nullptr）的判断永远为假，直接优化掉了第二个条件分支。当传入表示0的Smi指针时，!o->is_smi()结果为假，整个if条件不成立，因此不会进入分支。

替换为Smi::cast(o)->value() == 0的写法时，比较的是从指针中解出的整数值，没有触发空指针比较的优化假设，因此逻辑正常。

编译选项说明 #

• 警告参数：目前GCC没有对应警告可以提示这类问题，-Wall -Wextra不会触发相关提示。标记指针的实现本身游离在C++标准语义之外，编译器无法区分开发者是刻意构造特定位模式的指针，还是误写了空指针比较逻辑。
• 禁用该类优化：添加-fno-delete-null-pointer-checks编译选项即可。该选项会告知GCC不要做“指针必然非空”的假设，不删除空指针相关的检查逻辑。V8、Dart等采用标记指针实现的引擎，编译时普遍会开启该选项适配这类场景。

内容的提问来源于stack exchange，提问作者Florian Loitsch