如何从文件读取OTLP而非通过HTTP/gRPC？

你要的从磁盘读取OTLP/Proto格式文件的receiver确实存在，就是OpenTelemetry Collector的file receiver，专门用来读取本地或挂载存储上的OTLP格式文件，完全不用写脚本POST数据，直接就能把文件重新接入管道，配合ClickHouse exporter完成数据导入。

核心配置示例 #

1. 读取OTLP Proto格式文件 #

如果你的file exporter生成的是OTLP二进制Proto文件（通常后缀为.bin），配置如下：

receivers:
  file:
    path: "/path/to/your/otlp-files/*.bin"  # 用通配符匹配目标文件
    format: otlp_proto
    poll_interval: 10s  # 每隔10秒扫描一次目录
    delete_after_read: true  # 读取完成后自动删除文件，避免重复处理

2. 读取OTLP JSON格式文件 #

如果是JSON格式的OTLP文件，只需修改format字段：

receivers:
  file:
    path: "/path/to/your/otlp-files/*.json"
    format: otlp_json
    poll_interval: 10s
    delete_after_read: true

完整Collector配置（对接ClickHouse） #

把file receiver和ClickHouse exporter串联起来，形成完整的数据管道：

receivers:
  file:
    path: "/data/otlp-output/*.bin"
    format: otlp_proto
    poll_interval: 10s
    delete_after_read: true

exporters:
  clickhouse:
    endpoint: "http://your-clickhouse-host:8123"
    database: "otel_db"
    table: "otel_traces"  # 根据数据类型调整为otel_metrics或otel_logs
    username: "your-username"
    password: "your-password"
    timeout: 5s

service:
  pipelines:
    traces:
      receivers: [file]
      exporters: [clickhouse]
    metrics:
      receivers: [file]
      exporters: [clickhouse]
    logs:
      receivers: [file]
      exporters: [clickhouse]

注意事项 #

• 格式匹配：务必保证file receiver的format与file exporter的输出格式完全一致，否则会解析失败
• 文件处理：delete_after_read设为false时，Collector会通过文件的修改时间和大小判断是否已读取，适合需要保留源文件的场景
• S3文件适配：如果文件存在S3上，可以用s3fs将S3挂载到本地目录，再用file receiver读取；部分Collector版本也支持s3 receiver直接读取S3对象
• 批量处理：如果文件数量大，可以适当调整poll_interval缩短扫描间隔，或设置max_files_per_read控制单次读取的文件数量

内容的提问来源于stack exchange，提问作者Gérard Depardieu