如何在Apache Solr中为JSON元数据文件动态添加文件名字段？

我来给你几个实用的方案，帮你把JSON文件名和内容一起塞进Solr索引里——毕竟这个文件名是你关联数据的关键，必须搞定：

方案1：用bin/post结合shell脚本动态传入文件名 #

你提到知道bin/post能传字面量，但不知道怎么动态获取文件名，其实用shell循环就能轻松解决。这里推荐用jq来处理JSON格式，避免手动拼接出错：

1. 先确保你的Solr Schema里已经定义了filename字段（比如设置成string类型，stored="true"）
2. 写一个简单的shell脚本（比如post_json_with_filename.sh）：

#!/bin/bash
# 替换成你的JSON文件目录和Solr核心名
JSON_DIR="/path/to/your/json/files"
SOLR_CORE="your_core_name"

# 遍历所有JSON文件
for json_file in "$JSON_DIR"/*.json; do
  # 提取纯文件名（不带路径）
  filename=$(basename "$json_file")
  # 用jq把filename字段合并到原JSON内容中，再通过bin/post上传
  jq --arg fn "$filename" '. + {filename: $fn}' "$json_file" | bin/post -c "$SOLR_CORE" -d @-
done

这个方法的优势是借助jq保证JSON格式的合法性，不会因为原文件里的特殊字符导致上传失败。

方案2：用Data Import Handler（DIH）自动提取文件名 #

其实DIH完全可以处理JSON文件！你可以配置它批量读取JSON文件，同时自动提取文件名作为字段，不用额外写脚本：

1. 先在solrconfig.xml里启用DIH：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">data-config.xml</str>
  </lst>
</requestHandler>

2. 创建data-config.xml文件，配置读取JSON文件和提取文件名：

<dataConfig>
  <dataSource type="FileDataSource" encoding="UTF-8"/>
  <document>
    <!-- 先遍历目录下的所有JSON文件 -->
    <entity name="json_file" 
            processor="FileListEntityProcessor"
            baseDir="/path/to/your/json/files"
            fileName=".*\.json"
            recursive="false">
      <!-- 读取每个JSON文件的内容 -->
      <entity name="json_content" 
              processor="JsonEntityProcessor"
              url="${json_file.fileAbsolutePath}"
              transformer="RegexTransformer">
        <!-- 映射JSON里的元数据字段 -->
        <field column="URL" name="url"/>
        <field column="作者" name="author"/>
        <field column="标题" name="title"/>
        <!-- 用正则提取文件名（去掉路径） -->
        <field column="fileAbsolutePath" name="filename" regex=".*\/(.*\.json)" replacement="$1"/>
      </entity>
    </entity>
  </document>
</dataConfig>

3. 确保Schema里有url、author、title、filename这些字段，然后通过Solr控制台触发DIH导入即可。这个方案适合批量处理大量文件，Solr会帮你高效完成索引。

方案3：用Python脚本处理后批量上传 #

既然你后续要用Python关联数据，不如直接用Python完成JSON文件的处理和上传，这样和你的技术栈更统一：

1. 先安装Solr的Python客户端：pip install pysolr
2. 编写处理脚本：

import os
import json
import pysolr

# 连接你的Solr核心
solr = pysolr.Solr('http://localhost:8983/solr/your_core_name', timeout=15)
json_dir = "/path/to/your/json/files"

batch_docs = []
# 遍历所有JSON文件
for filename in os.listdir(json_dir):
    if not filename.endswith('.json'):
        continue
    file_path = os.path.join(json_dir, filename)
    try:
        with open(file_path, 'r', encoding='utf-8') as f:
            doc = json.load(f)
            # 添加filename字段
            doc['filename'] = filename
            batch_docs.append(doc)
            # 每1000个文档批量提交一次，避免内存溢出
            if len(batch_docs) >= 1000:
                solr.add(batch_docs)
                batch_docs = []
    except Exception as e:
        print(f"处理文件 {filename} 出错: {str(e)}")

# 提交剩余的文档
if batch_docs:
    solr.add(batch_docs)
solr.commit()

这个方案的优势是灵活，你可以在处理过程中加入数据清洗、格式转换等额外逻辑，后续维护也更方便。

内容的提问来源于stack exchange，提问作者ash