splits); /*** Check source reader has more elements or not.*/boolean hasMoreElements(); /*** There will no more split will send to this source reader.* Source reader could be exited after... [] getTypeInfos(); String[] getFieldNames(); int getIndexOfSubtask(); void sendSplitRequest(); }}````### 构造方法这里需要完成和数据源访问各种配置的提取,比如数据库库名表名、消息...
"split_field": "id", "split_config": "{\"name\": \"id\", \"lower_bound\": 0, \"upper_bound\": \"10000\", \"split_num\": 3}", "sql_filter": "( id % 2 == 0 )", ... private boolean readTable; private Long lower; private Long upper; public ClickhouseSourceSplit(int splitId) { this.splitId = SOUR...
"split_field": "id", "split_config": "{"name": "id", "lower_bound": 0, "upper_bound": "10000", "split_num": 3}", "sql_filter": "( id % 2 == 0 )", "columns": [ { "name": "id", ... private boolean readTable; private Long lower; private Long upper; public ClickhouseSourceSplit(int splitId) { this.splitId = SOURCE_SPLIT_PREFIX + splitId; } @Override public St...
boolean) { ... // 获取卡片信息 const cardBox: IBaseBox = this.cardList[index]; // 获取列信息 const colBox: IBaseBox = this.colList[index]; const clientWidth = getClientWidt... fields = [] } = this.params; // 操作Logic部分 const nextColumns = columns.filter((item) => !fields.includes(item.name)); // 操作的Output return { columns: nextC...
allow_empty_values Boolean 否 如果 field 指定字段的字段值(value)经解析后,某个子字段值为空,是否保留此键值对。 true:保留 value 为空值的键值对。 false:(默认)不保留 value 为空值的键值对。 allow_overwrite_keys Boolean 否 如果 keys 中指定的 key 与采集配置中已存在的 key 重复时,是否覆盖已存在 key 对应的字段。 true:覆盖 false:(默认)key 重复时,LogCollector 插件配置执行失败。 配置示例原始日志: P...
必有 createdAt String 分群创建时间 onlineSegStatus Boolean 在线服务是否可用(开启配置,且导入完成) groupInf Json 分组信息groupId 分组idgroupName 分组名 childSegments Json 子包信息,结构同Re... "field": "edu", "columnId": 288, "operator": "in", ...
参数说明如下: 参数 参数类型 是否必选 默认值 取值范围 说明 field String 是 / / 待分隔的日志字段名。 output String 是 / / 提取后输出的字段名,多个字段以英文半角逗号(,)分隔。 sep String 否 , 单个字符 分隔符。 quote String 否 " 单个字符 在该字符对内的 String 不参与分割。 restrict Boolean 否 False / 当提取的值个数与用户输入的目标字段数不一致时: True:忽略,不进行任何提...
"split_field": "id", "split_config": "{\"name\": \"id\", \"lower_bound\": 0, \"upper_bound\": \"10000\", \"split_num\": 3}", "sql_filter": "( id % 2 == 0 )", ... private boolean readTable; private Long lower; private Long upper; public ClickhouseSourceSplit(int splitId) { this.splitId = SOUR...
"split_field": "id", "split_config": "{"name": "id", "lower_bound": 0, "upper_bound": "10000", "split_num": 3}", "sql_filter": "( id % 2 == 0 )", "columns": [ { "name": "id", ... private boolean readTable; private Long lower; private Long upper; public ClickhouseSourceSplit(int splitId) { this.splitId = SOURCE_SPLIT_PREFIX + splitId; } @Override public St...
boolean) { ... // 获取卡片信息 const cardBox: IBaseBox = this.cardList[index]; // 获取列信息 const colBox: IBaseBox = this.colList[index]; const clientWidth = getClientWidt... fields = [] } = this.params; // 操作Logic部分 const nextColumns = columns.filter((item) => !fields.includes(item.name)); // 操作的Output return { columns: nextC...
AutoUpdate Boolean 否 true 是否开启了自动升级功能。 true:开启 false:关闭。 HostIdentifier String 否 test 机器组标识,不支持模糊查询。 IamProjectName String 否 default 根据机器组所属的 IAM 项目名... UserDefineRule参数 类型 示例值 描述 Fields JSON Map {"ClusterID":"dabaad5f-7a10-4771-b3ea-d821f73e****"} 为日志添加常量字段。常量字段需遵循以下限制: 支持上传最多 5 个常量字段。 字段名(Key)不可...
PushPullEnable Boolean 否 true 鉴权状态。创建推拉流鉴权时,默认值为 false;更新推拉流鉴权时,缺省情况表示不修改推拉流鉴权状态。 false:关闭推拉流鉴权; true:开启推拉流鉴权。 AuthDetailList参数 类型 是否必选 示例值 描述 SecretKey String 是 1*****1 自定义鉴权密钥。支持数字和大小写字母,最大长度 100 个字符 EncryptionAlgorithm String 是 md5 对称加密算法。仅支持 md5、md5_custom AuthField JSON Map 否...
pipeline) throws Exception { fakeGenerateRate.acquire(); pipeline.output(fakeRowGenerator.fakeOneRecord(typeInfos)); } @Override public boolean hasMoreElements() { return counter.... fieldNames, int alreadyPrintCount) { Preconditions.checkState(batchSize > 0, "batch size must be larger than 0"); this.batchSize = batchSize; this.fieldNames = fieldNames; this.write...