C++20中如何用std::variant存储std::string或std::string_view？

针对你在C++20词法分析器中遇到的特殊字符映射问题，以下是几种简洁高效的替代方案，无需使用std::variant引入复杂度：

方案1：封装映射逻辑到Token内部（推荐） #

保持Token的lexeme为std::string_view，通过添加成员函数统一处理特殊字符的映射，外部调用无需关心底层存储细节。

#include <string_view>

struct Token {
    enum class Type {
        Bool,
        Newline,
        Identifier,
        StringLiteral,
        // 其他Token类型...
    };

    Type type;
    std::string_view lexeme;

    // 返回处理后的lexeme视图
    std::string_view resolved_lexeme() const noexcept {
        switch (type) {
            case Type::Newline:
                // 静态字符串视图生命周期全局，无悬垂风险
                return std::string_view("\n", 1);
            // 可扩展其他特殊类型，比如Tab转义
            // case Type::Tab:
            //     return std::string_view("\t", 1);
            default:
                return lexeme;
        }
    }
};

// 使用示例
void process_token(const Token& token) {
    if (token.type == Token::Type::Bool) {
        if (token.resolved_lexeme() == "true") {
            // 处理true逻辑
        }
    } else if (token.type == Token::Type::Newline) {
        // 直接使用映射后的换行符视图
        handle_newline(token.resolved_lexeme());
    }
}

优势：

• Token结构保持简洁，无需引入复杂类型
• 外部调用逻辑统一，避免variant的繁琐访问
• 静态字符串视图无内存分配，性能开销极低

方案2：直接绑定预定义静态字符串视图 #

在词法分析阶段，对特殊字符直接赋值预定义的静态字符串视图，而非原源代码片段，外部直接使用lexeme即可。

// 预定义特殊字符的静态字符串
constexpr std::string_view NEWLINE_LEXEME = "\n";
constexpr std::string_view TRUE_LEXEME = "true";

// 词法分析器示例逻辑
Token lex_newline() {
    return {Token::Type::Newline, NEWLINE_LEXEME};
}

Token lex_bool_literal(const std::string_view& source, size_t pos) {
    // 普通字面量直接取原代码视图
    return {Token::Type::Bool, source.substr(pos, 4)};
}

优势：

• 完全不修改Token结构，仅在分析阶段处理映射
• 逻辑直观，适合特殊字符映射结果固定的场景

为什么不推荐std::variant？ #

std::variant<std::string, std::string_view>会强制每次访问都使用std::visit或std::get，大幅增加代码冗余；同时拥有式std::string会带来不必要的内存分配，不符合词法分析器的高性能需求。

内容的提问来源于stack exchange，提问作者kto