Lucene是否支持多级索引？单索引关联邮件与附件方案咨询

需要索引的数据结构如下：

{
  "EmailId":"1",  //should be stored
  "EmailText":"hello world",
  "Attachments": [
                {
                   "AttachmentId":"1",  //should be stored
                   "FileName": "hello.txt",  //should be stored
                   "AttachmentText":"this is first attachment text"
                },
                {
                   "AttachmentId":"2",
                   "FileName": "welcome.xlsx",
                   "AttachmentText":"this is second attachment text"
                }
  ]
}

原本可以为邮件正文和附件文本分别创建独立索引，但能否通过单个索引维护这种多级结构？需求是能够搜索AttachmentText中的关键词，并获取对应的AttachmentId和EmailId。

使用Lucene.Net，但Lucene Java的方案也可接受。

完全可以通过单个Lucene索引实现需求，无需拆分索引。核心思路是将每个附件作为独立的Lucene文档，同时关联对应的邮件标识（EmailId），这样既保证了搜索的灵活性，又能直接获取关联的ID信息。

1. 数据建模思路 #

Lucene的文档模型是扁平的，但我们可以通过将嵌套的附件拆分为独立文档，把关联的邮件信息附加到每个附件文档中，具体字段设计如下：

• EmailId：设置为Stored=true，用于存储并返回邮件ID
• AttachmentId：设置为Stored=true，用于存储并返回附件ID
• AttachmentText：设置为Indexed=true、Tokenized=true，支持分词搜索
• EmailText（可选）：设置为Indexed=true、Stored=true，支持同时搜索邮件正文
• FileName（可选）：设置为Stored=true，存储附件文件名

这种模式的优势是：

• 支持任意数量的附件，无需提前定义字段
• 搜索附件文本时，直接返回对应的AttachmentId和EmailId，无需额外关联查询

2. 索引创建示例（Lucene Java） #

// 初始化索引写入器
Directory directory = FSDirectory.open(Paths.get("your_index_path"));
Analyzer analyzer = new StandardAnalyzer();
IndexWriterConfig config = new IndexWriterConfig(analyzer);
IndexWriter writer = new IndexWriter(directory, config);

// 模拟邮件数据
String emailId = "1";
String emailText = "hello world";
List<Map<String, String>> attachments = Arrays.asList(
    Map.of("AttachmentId", "1", "FileName", "hello.txt", "AttachmentText", "this is first attachment text"),
    Map.of("AttachmentId", "2", "FileName", "welcome.xlsx", "AttachmentText", "this is second attachment text")
);

// 为每个附件创建文档
for (Map<String, String> attachment : attachments) {
    Document doc = new Document();
    // 添加EmailId字段（存储）
    doc.add(new StringField("EmailId", emailId, Field.Store.YES));
    // 添加AttachmentId字段（存储）
    doc.add(new StringField("AttachmentId", attachment.get("AttachmentId"), Field.Store.YES));
    // 添加AttachmentText字段（索引+分词）
    doc.add(new TextField("AttachmentText", attachment.get("AttachmentText"), Field.Store.NO));
    // 添加EmailText字段（可选，索引+存储）
    doc.add(new TextField("EmailText", emailText, Field.Store.YES));
    // 添加FileName字段（存储）
    doc.add(new StringField("FileName", attachment.get("FileName"), Field.Store.YES));
    
    writer.addDocument(doc);
}

writer.close();
directory.close();

3. 查询示例（Lucene Java） #

// 初始化索引读取器
Directory directory = FSDirectory.open(Paths.get("your_index_path"));
IndexReader reader = DirectoryReader.open(directory);
IndexSearcher searcher = new IndexSearcher(reader);
Analyzer analyzer = new StandardAnalyzer();

// 构造查询：搜索AttachmentText中包含"first"的文档
QueryParser parser = new QueryParser("AttachmentText", analyzer);
Query query = parser.parse("first");

// 执行查询
TopDocs results = searcher.search(query, 10);

// 遍历结果并获取所需字段
for (ScoreDoc scoreDoc : results.scoreDocs) {
    Document doc = searcher.doc(scoreDoc.doc);
    String foundEmailId = doc.get("EmailId");
    String foundAttachmentId = doc.get("AttachmentId");
    String foundFileName = doc.get("FileName");
    
    System.out.printf("匹配结果：EmailId=%s, AttachmentId=%s, FileName=%s%n", 
                      foundEmailId, foundAttachmentId, foundFileName);
}

reader.close();
directory.close();

4. Lucene.Net 适配说明 #

Lucene.Net的API与Lucene Java高度一致，只需调整命名空间和部分语法细节：

• 使用Lucene.Net.Store.FSDirectory.Open(new DirectoryInfo("your_index_path"))替代Java的FSDirectory.open
• 字段类型对应关系：StringField、TextField的用法完全相同
• 查询和索引操作的逻辑与Java版本一致

备选方案：单文档嵌套字段（不推荐） #

如果坚持将整封邮件作为单个文档，可以通过命名前缀区分不同附件的字段（如attachment_1_id、attachment_1_text），但这种方式存在明显缺陷：

• 无法动态适配不确定数量的附件
• 查询时需要遍历所有可能的附件字段，效率低下
• 无法精准定位到具体是哪个附件匹配了搜索关键词

因此，优先推荐每个附件一个文档的方案。

内容的提问来源于stack exchange，提问作者Mohit