所以应该在执行引擎层和物理存储层之间加一层逻辑存储层,由抽象层来跟执行引擎层做整齐划一的交互。(笔者注,参考Linux内核VFS的思想,各种FS百花齐放,但是接了一层VFS,在抽象层做统一就可以了)这里的逻辑层指的就是**逻辑Tile + 逻辑代数(Logical Tile Algebra)** 。首先来看看**逻辑Tile**的结构:![1626925577692_bb51e5cbebd9f09684084d75f76649f1.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/44d9a0b2bcfa4...
*我们来看一张 「模型训练计算量和摩尔定律」的对比图,这张图来自 AI and Memory Wall。**从图里可以明显看出,摩尔定律完全跟不上 Transformer 类模型训练需要的算力,而摩尔定律某种程度上其实反应着芯片制造... 其底层运行逻辑会更接近 IO,没有通用芯片上复杂的电路逻辑,而同样的芯片面积的情况下,ASIC 能给算力预留的芯片面积则更大,也更容易做出算力更高的产品;而相应的,AI ASIC 在通用性上,受限于架构,就不如 CPU、GPU,一...
基于关系代数的等价性 :join 交换律于结合率****●****基于数据特性:唯一键,functional dependency****●****基于分布式数据库特性:exchange 插入,算子拆分****●****高级优化手段:物化视图,Runtime F... 表达式的简化以及子查询的结关联,谓词下推,冗余算子消除,Outer Join 转 Inner Join,算子下推存储、分布式算子拆分等常见的启发式优化能力。 ![picture.image](https://p6-volc-community-sign.byteimg.c...
逻辑分为两类, **一类叫“基于规则的优化(RBO)”,另一类称为“基于代价的优化(CBO)”** , **实际应用过程中应当两类兼顾才能取得最佳效果** 。 **基于规则的优化**根据优化规则对关系表达式进行转换... 让每个 Step 仅仅表达关系代数的语义而非很多执行相关的内容和参数,而这些执行相关的信息则是在每个执行的 server 上构建执行 pipeline 时才真正进行获得。###### **Optimizer**构建完执行计划后则是最为...
表达式类型类型 表达式 说明 数组 sql [参数1 参数2 参数3 ...] 数组以方括号包裹的一串元素。例如: [1 2 3]:表示整型数组。 ["a" "b" "c"]:表示字符串数组。 哈希 sql {key1 value1 key2 value2} 哈希是... value1 和 value2 的取值范围包含整数或浮点数。 当参数都为整数时,则返回整数,否则返回浮点数。 逻辑运算 比较运算 功能 语法 取值范围 返回值 大于 sql (> value1 value2) value1 和 value2 的取值范围包含...
我自学了初级代数知识,如变量与系数、线性方程组和函数曲线,使我自己更好的理解基本的机器学习模型。此外,因为我自己之前已经完成了Python的学习,基础的函数定义、列表/字典、循环和条件表达式等都早已熟记于心,自己可以更快速的学习TensorFlow。除了前面所述的两个基本要求外,在学习的过程中,我们需要准备一些基础知识,当然等真正遇到再去查资料也完全没问题。其实准备工作主要分为数学基础、编程基础和函数库三个部分,我们可...
=020119 基本运算法则:往前或者往后 n 个单位时间,如:${DATE+n} or ${DATE-n} 获取业务时间往后 +n 天 or 往前 -n 天的日期; ${hour+n} or ${hour-n} 获取业务时间整点往后 +n 小时 or 往前 -n 小时的整点 高级运算法则:${var+x+ym-zd+ph+qi},其中var代表时间变量,m代表月,d代表天,h代表小时,i代表分钟,即表达式表示业务时间加 x 单位时间(如果 var=date,加 x 天),加 y 个月,减 z 天,加 p 小时,加 q 秒,且最后按照 var 的输出...