如何将Kubernetes持久卷PV中的.json文件导入至ElasticSearch（ECK）

• 首先确认存储爬虫JSON数据的PV的访问模式、存储类等核心参数，在ECK的Filebeat CRD配置中添加volume挂载规则，将目标PV挂载到Filebeat容器的固定路径，比如/mnt/crawler-json
• 配置Filebeat采集规则，示例如下：

filebeat.inputs:
- type: filestream
  paths:
    - /mnt/crawler-json/*.json
  parsers:
    # 适配一行一个JSON对象的ndjson格式文件
    - ndjson:
        target: ""
        add_error_key: true
    # 如果是单文件仅存一个JSON对象，替换为以下配置
    # - decode_json_fields:
    #     fields: ["message"]
    #     target: ""

• 配置ES输出，你可以直接使用ECK原生的关联规则，无需手动配置账号密码，只需在Filebeat CR的spec段添加如下配置即可自动注入ECK生成的ES访问凭证：

spec:
  elasticsearchRef:
    name: 你部署的ES集群名称
    # 跨命名空间访问的话补充namespace字段
    # namespace: xxx

• 提交Filebeat资源启动Pod，待数据采集完成后可到Kibana的Discover页面验证数据完整性。如果是一次性导入需求，数据全部同步完成后即可删除Filebeat相关资源，PV可按需保留或释放。

如果爬虫任务为单次运行，后续没有新数据写入该PV，可以用Kubernetes Job完成一次性导入，操作更轻量：

• 编写Job配置，挂载目标PV到容器内路径，镜像可选用内置esbulk或elasticdump工具的公共镜像
• Job的执行命令示例（以esbulk为例）：
  esbulk -server https://<ES服务名>:9200 -index crawler_data -username $ELASTIC_USER -password $ELASTIC_PASSWORD -bulk-size 2000 /mnt/crawler-json/*.json
• 提交Job运行，结束后查看Job运行日志确认导入成功率即可。

• 导入前建议提前在ES中创建对应索引的索引模板，明确字段映射规则，避免自动映射出现字段类型不匹配的问题
• 确认ECK各资源的命名空间匹配，访问ES的服务域名、端口配置正确，使用自签证书的场景按需配置SSL校验规则
• 大体积JSON文件导入前建议先拆分，避免单次请求过大触发ES的写入限流

内容的提问来源于stack exchange，提问作者Jad Sakr