如何在Pest中实现强制空格？构建conlang衍生esolang的语法需求

针对你开发基于人工语言的小众编程语言时，需要强制标记间必须有空格分隔的需求，结合不同的语法解析工具，以下是几种简洁的实现方式：

1. PEG类语法生成器（如PEG.js、Ohm.js）：自定义连接运算符 #

PEG类语法天生支持灵活的规则组合，你可以封装一个带强制空格的连接逻辑，甚至重载原有运算符：

示例（PEG.js） #

// 定义强制空白规则：至少一个空格/制表符/换行
requiredSpace = [ \t\n]+

// 自定义带空格的连接运算符$，代替原生~
a $ b = a requiredSpace b

// 目标规则直接使用自定义运算符
rule = a $ b

// 基础token定义
a = "a"
b = "b"

这里a $ b会自动匹配a + 至少一个空白 + b，无需重复写空白规则，同时保留原生~用于无空格连接（如果需要）。

示例（Ohm.js） #

Ohm支持自定义语法糖，你可以扩展运算符语义：

const grammar = ohm.grammar(`
ConlangLang {
  // 定义强制空白
  requiredSpace = (space | tab | newline)+
  space = " "
  tab = "\t"
  newline = "\n"

  // 重载~运算符，让它默认插入强制空格
  rule = a ~ b
  a = "a"
  b = "b"
}
`);

// 在语义动作中实现强制空格检查
const semantics = grammar.createSemantics().addOperation('parse', {
  a~b(astA, astB) {
    // 确保解析时a和b之间存在至少一个空白
    const input = this.sourceString;
    const aEnd = astA.source.endIdx;
    const bStart = astB.source.startIdx;
    if (!input.slice(aEnd, bStart).match(/\s+/)) {
      throw new SyntaxError(`Missing required space between "${astA.source.text}" and "${astB.source.text}"`);
    }
    return { left: astA.parse(), right: astB.parse() };
  },
  a() { return this.sourceString; },
  b() { return this.sourceString; }
});

2. ANTLR：利用语法片段复用 #

ANTLR中默认会跳过空白，但你可以显式定义强制空白的片段，避免重复编写：

grammar ConlangLang;

// 词法规则：定义空白（不自动跳过，需显式匹配）
WS : [ \t\n]+;
A : 'a';
B : 'b';

// 定义复用的强制空格分隔片段
fragment SEP(left, right) : left WS+ right;

// 目标规则直接使用片段
rule : SEP(A, B);

如果需要全局统一强制空格，也可以修改词法分析器的行为，或者在语法规则中用语义谓词确保token间有空白。

3. 自定义递归下降解析器：封装辅助函数 #

如果是自己手写解析器，直接封装一个辅助函数来处理强制空格逻辑：

# 假设已有基础解析函数parse_a()、parse_b()，以及consume_whitespace()
def parse_with_required_space(left_parser, right_parser):
    # 解析左token
    left_node = left_parser()
    # 尝试消耗至少一个空白，失败则抛出语法错误
    if not consume_whitespace(min_count=1):
        raise SyntaxError("Missing required space between tokens")
    # 解析右token
    right_node = right_parser()
    return (left_node, right_node)

# 目标规则调用辅助函数
def parse_rule():
    return parse_with_required_space(parse_a, parse_b)

4. 语法预处理器：批量替换规则 #

如果你的语法描述语言不支持自定义运算符，可以用预处理器批量替换规则中的~为~ WHITESPACE+ ~，比如用Python脚本做简单替换：

# 假设你的语法文件是grammar.txt
with open('grammar.txt', 'r') as f:
    content = f.read()

# 替换所有独立的~为带强制空格的组合（注意避免误替换字符串内的~）
import re
processed_content = re.sub(r'(?<=\w|\}) ~ (?=\w|\{)', ' ~ WHITESPACE+ ~', content)

with open('processed_grammar.txt', 'w') as f:
    f.write(processed_content)

这种方式适合快速实现，但需要注意规则中的特殊情况（比如字符串内的~）。

内容的提问来源于stack exchange，提问作者Brynhildr