如何测试Monaco Editor的Monarch分词器？

Monaco Editor官方提供了几种实用方式来测试自定义分词器的匹配模式：

• 使用Monarch语言游乐场：官方内置的在线游乐场支持实时编写、调试分词规则。你可以输入自定义语法定义，同时在编辑器中写入测试文本，即时查看分词高亮效果，快速验证匹配模式是否符合预期。
• 调用Monaco调试API：通过monaco.languages.setMonarchTokensProvider注册分词器后，用monaco.editor.createModel创建测试模型，再通过model.getLineTokens方法获取指定行的分词结果，直接查看每个token的类型、位置等信息，适合程序化批量测试。
• 本地调试工具集成：在本地项目开发时，可借助Chrome DevTools在分词规则的匹配函数中添加断点，逐步跟踪匹配过程，排查复杂模式的逻辑问题。

这些都是官方支持的方法，能帮你高效验证不同匹配模式的效果。

内容的提问来源于stack exchange，提问作者Adam Genshaft