是DB中实际存在的真实列名。- 逻辑列:主要是用来计算加解密列的逻辑名字,是业务代码里面定义的SQL对应的列名。#### **4.3** 加解密过程加解密的整个过程对于上游业务应用是完全透明化的,主要就是通过彩虹桥的内核模块对SQL进行解析,然后根据加解密规则找出需要加密的字段和所使用的加解密算法对目标字段进行加解密处理后,再将SQL改成于底层DB交互的SQL。使用彩虹桥,它会把用户请求的明文进行加密后存储到底层数据库,并在...
参考下图输入列名,并选择数据类型。 表配置选择排序键。 此时点击 SQL 页签,可以看到创建数据表employment对应的 SQL 语句。sql CREATE TABLE `bh_demo`.`employment`( `first_name` Nullable(String), `l... 数据导入下载样例数据文件 employees.csv。 根据建表完成的指引,进入新建数据导入任务页面。 为导入任务取名(如dataloading),并选择【文件上传】并上传上一步下载到本地的文件。 将数据源中的“内含表头”选项选择...
是DB中实际存在的真实列名。- 逻辑列:主要是用来计算加解密列的逻辑名字,是业务代码里面定义的SQL对应的列名。#### **4.3** 加解密过程加解密的整个过程对于上游业务应用是完全透明化的,主要就是通过彩虹桥的内核模块对SQL进行解析,然后根据加解密规则找出需要加密的字段和所使用的加解密算法对目标字段进行加解密处理后,再将SQL改成于底层DB交互的SQL。使用彩虹桥,它会把用户请求的明文进行加密后存储到底层数据库,并在...
确保表格具有相同的列名、数据类型、长度、顺序。在无法匹配时,需手动转换或调整数据,否则会导致数据丢失、截断或任务失败等问题。 当前仅支持上传 CSV 和 SQL 格式的文件,不支持上传 EXCEL 格式的文件,且最大不超过 1GB。 在以下情况下,将导致导入任务失败: 数据库账号权限不足,导致导入任务失败。 导入过程中删除或重命名目标表或目标库,导致目标数据库或表不存在,从而导致导入任务失败。 在导入过程中,重启或修改目标实例...
支持csv、json、avro。 key.fields 否 (none) String Kafka 消息 key 部分对应的源表或结果表字段。多个字段名以分号(;)分隔。例如field1;field2。 key.fields-prefix 否 (none) String 为key.fields的所有字段定义自定义前缀,以避免和 value.fields 字段名称冲突。示例:指定前缀为 prefix_,并且 Key 字段名为 name,那么写入 Kafka 后显示为 prefix_name。 说明 key.fields-prefix配置项仅用于源表和结果表的列名区分,...
1. 概述 数据下载,是指用户可以把可视化查询的查询结果下载到本地,目前支持 CSV、XLSX 、图片等格式。 2. 快速入门 第一步 点击工具条上的下载数据按钮,呼出下载设置框。 第二步 下载设置,选择文件类型、下载行数。... 选择需要排序&过滤的列名;然后,输入或上传排序列表。 注意 (1) 维度筛选项仅支持数据面板中的维度;(2) 会对查询结果进行重新排序(如已使用排序,则之前的排序失效);(3) 上传列表仅在本次下载中生效。 特例说明 特...
文件导入功能允许您通过手动上传文件更新替换数据。ByteHouse 界面提供了操作向导来引导对应任务,便于快速完成文件导入任务。当前支持如下文件类型通过文件上传导入: .csv .json .xls .avro .parquet .gz 注意:当前... 说明 当前支持多种方法来定义文件类型,您也可以选择 基于文件解析来生成 Schema,一旦 Schema 成功生成,您也可以手动进行调整。对于 CSV 或者 Excel 格式,如果文件数据不包含表头,表名将默认地以 _cX 格式命名。 ...
会额外显示存储的预估大小,存储大小统计有一定延迟,更新延迟时间不超过 24 小时。默认情况下数据行是收起状态,点击左边小三角可以展示更多信息, 用户可以看到 字段信息,数据预览,分区信息,DDL 信息 4 个标签 : 点... 目录的命名规则为 分区列名=分区列值。 如果有多个分区列,则需要按照建表语句中指定的分区列顺序,依次创建多层子目录。 例如,以下是 TOS 中的目录结构: plain TOS://bucket_a/table_a/year=2022/month=1/kv1.par...
支持的文件格式CSV JSON Arvo Parquet Excel (xls) 创建任务不同的数据源类型有会略有差异,但一般来说都需要4个步骤:请登录 ByteHouse,进入到 数据加载 页面,点击 新建数据加载 。 步骤1:选择数据源数据源是指包含待导入数据的文件夹/路径(S3/TOS/OSS)。连接时通常需要提供给存储系统一些信息,包括校验凭证、集群地址等。我们使用数据源一词来存储此类信息。您的连接信息已加密,即使是我们也无法读取。一旦存储,您就无法检索此...
Routine Load 支持从 Kakfa 集群中消费 CSV、JSON 格式的数据。对于CSV格式的是数据:支持长度不超过50个字节的UTF-8 编码字符串作为列分隔符;空值用 \N 表示。 2.1 创建导入任务通过CREATE ROUTINE LOAD命令创建Routine Load导入作业。语法: sql CREATE ROUTINE LOAD [ .] ON [load_properties][job_properties]FROM data_source[data_source_properties]参数说明: 参数 描述 database_name 选填,目标数据库的名称。 job_name 必...