> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群## 需求背景火山引擎DataLeap数据探查上线之前,数据验证都是通过写SQL方式进行查询的,从编写SQL,到解析运行出结果,不仅... 和生成SQL等,火山引擎DataLeap技术方向上主要放在以下几个方面:- 更多的探查类型和图表支持动态探查目前支持空值,枚举值,零值,数据统计等基础的探查功能,未来会计划支持包括map,json,time,sql语句等类型的识...
包含批流一体 SQL,以及Spark/Presto多个计算引擎,其中LAS Spark作为高效的批式计算引擎,字节内部日均处理EB级数据,全覆盖离线ETL场景。 ![picture.image](https://p6-volc-community-sign.byteimg.com/t... 原生Spark在查询嵌套类型(Map/Array/Struct/Json)列中的某一子列时,首先会读取整个列的数据,然后在内存中提取出所要查询的子列。例如下图中的普通读取流程,people列是Map类型,用户在查询people.age子列时,需要将整...
被注册在`ListenerBus`中的所有 listener 监听。其中`EventLoggingListener`是专门用于生成 event log 的监听器。它会将 event 序列化为 Json 格式的 event log 文件,写到文件系统中(如 HDFS)。通常一个机房的任务... `KVStore`中和 UI 相关的所有类实例,我们将这些类统称为 UIMeta 类。具体包括 `AppStatusStore`和`SQLAppStatusStore`中的信息(如下所列)。我们定义一个类 `UIMetaStore`来抽象,一个`UIMetaStore`即一个任务所有 U...
sonic 是字节跳动开源的一款 Golang JSON 库,基于即时编译(Just-In-Time Compilation)与向量化编程(Single Instruction Multiple Data)技术,大幅提升了 Go 程序的 JSON 编解码性能。同时结合 lazy-load 设计思想,它... 中(medium):110KB,300+ key,深度 4 层(实际业务数据,其中有大量的嵌套 JSON string); - 大([large](https://github.com/bytedance/sonic/blob/main/testdata/twitterescaped.json)):550KB,10000+ key,深度 6...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群## 需求背景火山引擎DataLeap数据探查上线之前,数据验证都是通过写SQL方式进行查询的,从编写SQL,到解析运行出结果,不仅... 和生成SQL等,火山引擎DataLeap技术方向上主要放在以下几个方面:- 更多的探查类型和图表支持动态探查目前支持空值,枚举值,零值,数据统计等基础的探查功能,未来会计划支持包括map,json,time,sql语句等类型的识...
您可以设置叶子节点的索引数据类型为 text、long 或 double ,以满足 JSON 嵌套结构的叶子节点字段检索需求。各索引字段的数据类型说明如下: 类型 说明 text 适用于字符串类型的字段。 long 适用于数值类型的字... 自动索引勾选对Json内所有文本字段自动索引后,日志服务自动为 JSON 字段中所有值为文本的字段创建索引。说明 自动创建索引的子字段不支持在 SQL 语句、not key: * 语句中使用。 值为数值、数组的子字段,不支持自...
包含批流一体 SQL,以及Spark/Presto多个计算引擎,其中LAS Spark作为高效的批式计算引擎,字节内部日均处理EB级数据,全覆盖离线ETL场景。 ![picture.image](https://p6-volc-community-sign.byteimg.com/t... 原生Spark在查询嵌套类型(Map/Array/Struct/Json)列中的某一子列时,首先会读取整个列的数据,然后在内存中提取出所要查询的子列。例如下图中的普通读取流程,people列是Map类型,用户在查询people.age子列时,需要将整...
调用 DescribeTosRestoreTaskDetail 接口查询云数据库 SQL Server 版实例备份数据上云的详细信息。 请求类型同步请求。 请求参数名称 类型 是否必选 示例值 描述 RestoreTaskId String 是 490 恢复任务 ID。 说... 取值范围 1~1000。 返回参数名称 类型 示例值 描述 Total Integer 1 恢复任务总数。 RestoreTaskDetails Array of RestoreTaskDetailObject RestoreTaskDetailObject 恢复任务的详情列表信息。 请求示例json POST ...
platform string 否 平台类型 os_name string 否 客户端系统,只允许设置为 "ios", "android", "web", "wap", "mac", "windows", "linux", "ipad", "iphone", 其他的值会解析成unknown。 os_version string 否 客户端系统版本号 device_model string 否 设备型号 ab_sdk_version string 否 ab实验分组信息 traffic_type string 否 流量类型 client_ip string 否 客户端ip custom json object 否 ...
sonic 是字节跳动开源的一款 Golang JSON 库,基于即时编译(Just-In-Time Compilation)与向量化编程(Single Instruction Multiple Data)技术,大幅提升了 Go 程序的 JSON 编解码性能。同时结合 lazy-load 设计思想,它... 中(medium):110KB,300+ key,深度 4 层(实际业务数据,其中有大量的嵌套 JSON string); - 大([large](https://github.com/bytedance/sonic/blob/main/testdata/twitterescaped.json)):550KB,10000+ key,深度 6...
调用 DescribeSlowLogs 接口查询指定实例在指定时间内的慢日志列表。 请求类型同步请求。 注意事项当前仅支持查看最近 7 天内的慢日志详情。 请求参数参数 类型 是否必选 示例值 描述 InstanceId String 是 mon... true:已全部加载。 false:未全部加载。 说明 若 ListOver 返回 false,您可以再次调用 DescribeSlowLogs,并在请求参数中传入 Context 返回的值,来查询未加载完的慢日志详情。 SlowLog参数 类型 示例值 描述 SQL S...
tring 是 mssql-dab1be87**** 实例 ID 说明 您可以调用 DescribeDBInstances 接口查询实例 ID。 返回参数名称 类型 示例值 描述 BasicInfo BasicInfoObject BasicInfo 实例基本信息。 ChargeDetail ChargeDetailObject ChargeDetail 付费方式。 ConnectionInfo Array of ConnectionInfoObject ConnectionInfo 实例的连接信息。 NodeDetailInfo Array of NodeDetailInfoObject NodeDetailInfo 实例节点信息。 请求示例json P...
2024-03-28 全部地域 控制台内嵌 设置控制台内嵌参数 日志资源 支持跨地域、跨日志项目批量导入指定的日志主题、索引配置以及采集配置。 2024-03-28 全部地域 导入日志主题 导入采集配置 告警 新增 Web... 2024-03-01 全部地域 从 TOS 导入日志 索引配置 日志服务支持自动为 JSON 字段中所有值为文本的子字段创建索引。 2024-03-01 全部地域 索引数据类型 SQL 语句 新增 HAVING 子句,用于过滤出符合特定条件...