键值提取函数

本文档介绍键值提取函数的语法与格式、相关的场景示例。

ext_sep 函数

基于单个字符的分隔符提取字段值内容。

函数语法/格式

ext_sep(field, output="目标字段名1,目标字段名2,目标字段名...", sep=",", quote="\"", restrict=False, mode="overwrite")

参数说明如下：

函数示例

• 场景：根据逗号（,）将日志中 content 字段的值提取为多个字段。

• 加工规则：

  ext_sep("content", "city-1,city-2,city-3")
  

• 日志样例：

  {
      "content":"shanghai,hangzhou,chengdu"
  }
  

• 加工结果 ：

  {
      "content":"shanghai,hangzhou,chengdu",
      "city-1":"shanghai",
      "city-2":"hangzhou",
      "city-3":"chengdu"
  }
  

ext_sepstr 函数

基于指定的字符串提取字段值内容。

函数语法/格式

ext_sepstr(field, output="目标字段名1,目标字段名2,目标字段名...", sep="||", restrict=False, mode="overwrite")

参数说明如下：

函数示例

• 场景：根据字符串 || 将日志中 content 字段的值提取为多个字段。

• 加工规则：

  ext_sepstr("content", "city-1,city-2,city-3")
  

• 日志样例：

  {
      "content":"shanghai||hangzhou||chengdu"
  }
  

• 加工结果：

  {
      "content":"shanghai||hangzhou||chengdu"
      "city-1":"shanghai",
      "city-2":"hangzhou",
      "city-3":"chengdu"
  }
  

ext_json 函数

对指定字段中的 JSON 字符串进行展开操作。

函数语法/格式

ext_json(field, depth=2, prefix="pre_",suffix="_",fmt="simple",sep=".",expand_array=True)

参数说明如下：

函数示例

函数示例 1：

• 场景：从日志 content 字段中展开 JSON 数据，前缀为 pre_，后缀为 suf_，fmt 格式默认为 simple。

• 加工规则：

  ext_json("content",prefix="pre_",suffix="suf_")
  

• 日志样例：

  {
      "content":"{\"k1\": \"v1\",\"k2\": {\"k3\": \"v3\"}}"
  }
  

• 加工结果：

  {
      "content":"{\"k1\": \"v1\",\"k2\": {\"k3\": \"v3\"}}",
      "pre_k1suf_":"v1",
      "pre_k3suf_":"v3"
  }
  

函数示例 2：

• 场景：从日志 content 字段中展开 JSON 数据，fmt 格式为 full 全路径，depth 深度为 1。

• 加工规则：

  ext_json("content",depth=1,fmt="full")
  

• 日志样例：

  {
      "content":"{\"k1\": \"v1\",\"k2\": {\"k3\": \"v3\"}}"
  }
  

• 加工结果：

  {
      "content":"{\"k1\": \"v1\",\"k2\": {\"k3\": \"v3\"}}",
      "content.k1":"v1",
      "content.k2":"{\"k3\": \"v3\"}}"
  }
  

函数示例 3：

• 场景：从日志 content 字段中展开 JSON 数据，只保留 k1 节点数据。

• 加工规则：

  ext_json("content",include_node="k1")
  

• 日志样例：

  {
      "content":"{\"k1\": \"v1\",\"k2\": {\"k3\": \"v3\"}}"
  }
  

• 加工结果：

  {
      "content":"{\"k1\": \"v1\",\"k2\": {\"k3\": \"v3\"}}",
      "k1":"v1"
  }
  

ext_json_jmes 函数

使用 jmes 表达式从 json 中提取字段值。

函数语法/格式

ext_json_jmes(field, jmes="提取JSON的jmes path", output="目标字段", ignore_null=True, mode="overwrite")

参数说明如下：

函数示例

• 场景：从日志 content 字段中按照“k3.k4” jmes 路径提取字段值输出到字段 k3-k4 中。

• 加工规则：

  ext_json_jmes("content", jmes="k3.k4", output="k3-k4")
  

• 日志样例：

  {
      "content":"{\"k1\": 123, \"k2\": \"456\", \"k3\": {\"k4\": -34.5, \"k5\": true}}"
  }
  

• 加工结果：

  {
      "content":"{\"k1\": 123, \"k2\": \"456\", \"k3\": {\"k4\": \"-34.5\", \"k5\": True}}",
      "k3-k4":"-34.5"
  }
  

ext_kv 函数

基于两级分割符提取字段的值。

函数语法/格式

ext_kv(field, pair_sep="\s", kv_sep="=", prefix="", suffix="", mode="overwrite")

参数说明如下：

函数示例

• 场景：提取日志中的 content 字段的值后，根据符号（&）将值分为键值对，再根据符号（=）将键值对分隔为键和值。

• 加工规则：

  ext_kv("content", pair_sep="&", kv_sep="=")
  

• 日志样例：

  {
      "content":"f1=a&f2=b&f3=c"
  }
  

• 加工结果：

  {
      "content":"f1=a&f2=b&f3=c",
      "f1":"a",
      "f2":"b",
      "f3":"c"
  }
  

ext_regex 函数

根据指定的正则表达式提取指定字段的值，并赋值给其他字段。

函数语法/格式

ext_regex(field,regex="regex",output=输出字段,mode="overwrite")

参数说明如下：

函数示例

函数示例 1：

• 场景：提取日志字段 call_record 通话记录中的呼叫者。

• 加工规则：

  ext_regex("call_record","\d{11}","caller")
  

• 日志样例：

  {
      "call_record": "caller:13800000000 called:13800000001"
  }
  

• 加工结果：

  {
      "call_record": "caller:13800000000 called:13800000001",
      "caller": "13800000000"
  }
  

函数示例 2：

• 场景：提取日志字段 call_record 通话记录中的呼叫者和被叫者。

• 加工规则：

  ext_regex("call_record","\d{11}","caller,called")
  

• 日志样例：

  {
      "call_record": "caller:13800000000 called:13800000001"
  }
  

• 加工结果：

  {
      "call_record": "caller:13800000000 called:13800000001",
      "caller": "13800000000",
      "called": "13800000001"
  }
  

函数示例 3：

• 场景：提取日志字段 call_record 通话记录中的呼叫者，并覆盖 origin_caller 字段。

• 加工规则：

  ext_regex("call_record","\d{11}","origin_caller","overwrite")
  

• 日志样例：

  {
      "call_record": "caller:13800000000 called:13800000001",
      "origin_caller": "13800000002"
  }
  

• 加工结果：

  {
      "call_record": "caller:13800000000 called:13800000001",
      "origin_caller": "13800000000"
  }
  

ext_grok 函数

GROK 函数根据正则表达式提取特定的值，GROK表达式把常见的正则表达式定义好，比如IP地址、文件路径，直接使用即可。常见的 GROK 表达式请参考官方文档。

函数语法/格式

ext_grok(field,通用 GROK 表达式,extend=自定义 GROK 表达式)

参数说明如下：

函数示例

函数示例 1：

• 场景：计算日志字段 content 中的年月日和引用字符串。

• 加工规则：

  ext_grok("content","%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}")
  

• 日志样例：

  {
      "content":"2023 August 7 \"It is sunny day\""
  }
  

• 加工结果：

  {
      "content":"2023 August 7 "It is sunny day"",
      "year": "2023",
      "month": "August",
      "day": "7",
      "motto": "\"It is sunny day\""
  }
  

函数示例 2：

• 场景：根据自定义的 GROK 表达式，提取日志中的 ID。

• 加工规则：

  ext_grok("content", "%{ID1:user_id1},%{ID2:user_id2}",extend=dict_make("ID1","%{WORD}-%{INT}","ID2","%{WORD}-%{WORD}"))
  

• 日志样例：

  {
      "content": "Chengdu-1023,Chongqing-Chongqing"
  }
  

• 加工结果：

  {
      "content": "Chengdu-1023,Chongqing-Chongqing",
      "user_id1": "Chengdu-1023",
      "user_id2": "Chongqing-Chongqing"
  }