如何借助VS Code语言服务端跨语言批量提取代码字符串？

一、基于VS Code语言服务端的实现步骤 #

• 复用VS Code生态语言服务：主流语言（Java、Python、Go等）都有官方或社区维护的LSP服务端，无需自行实现编译器逻辑，直接通过LSP协议与这些服务端交互即可
• 同步目标文档到服务端：通过LSP的textDocument/didOpen接口将代码文件内容同步到语言服务端，确保服务端持有最新的文档上下文
• 提取字符串语义节点：
  • 调用textDocument/semanticTokens接口，获取文档中所有语义化Token，过滤标记为「字符串字面量」的Token，提取其文本内容与位置
  • 部分语言服务会在textDocument/documentSymbol接口返回字符串类型的符号，可直接解析该接口结果获取字符串
• 统一结果适配层：针对不同语言服务端的返回格式差异，做一层适配，输出标准化的字符串列表（含内容、文件路径、位置信息）

二、核心LSP知识点 #

• 文本文档同步机制：是所有LSP交互的基础，必须先通过textDocument/didOpen、textDocument/didChange等接口完成文档同步，否则服务端无法提供正确的语义分析结果
• Semantic Tokens 接口：专门用于返回文档的语义化Token集合，其中包含字符串、变量、函数等各类元素的类型标记，是提取字符串最可靠的途径之一
• 语言服务端通信：LSP支持stdio、socket两种通信方式，VS Code默认通过stdio启动语言服务端，只需指定服务端的启动命令（如typescript-language-server --stdio）即可建立连接

三、无需封装编译器的替代方案 #

• Tree-sitter 多语言解析：Tree-sitter提供了数十种主流语言的预定义语法树规则，无需依赖语言自身编译器，直接解析源码生成AST，遍历AST即可精准提取所有字符串节点。它支持批量解析，性能优异，适合本地化工具链的批量处理场景
• 针对性正则匹配：针对每种语言的字符串语法（如JS的双引号/单引号字符串、Python的三引号字符串）编写对应正则表达式，快速匹配字符串。缺点是无法处理复杂嵌套、特殊转义的边界情况，仅适合简单场景或原型验证
• TextMate 语法规则复用：VS Code的语法高亮依赖TextMate规则，这些规则中包含字符串的匹配模式。解析.tmLanguage格式的规则文件，提取字符串的匹配逻辑，实现跨语言字符串提取，精度介于正则与AST解析之间

内容的提问来源于stack exchange，提问作者Peter Wone