我是 Redis,给开发者提供了 String(字符串)、Hashes(散列表)、Lists(列表)、Sets(无序集合)、Sorted Sets(可根据范围查询的排序集合)、Bitmap(位图)、HyperLogLog、Geospatial (地理空间)和 Stream(流)等数据类型。接下来我要介绍的是,String 类型的使用技巧和使用场景,以及数据类型底层数据结构原理。**数据类型的使用技法和以及每种数据类型底层实现原理是你核心筑基必经之路,好好修炼。**筑基稳固,修炼心法,让你的程序更...
**WebTransport** **的技术原理**首先我们简单来了解一下WebTransport这个传输协议基本的技术原理。WebTransport是基于HTTP3的应用层传输协议,HTTP3的底层又基于quic协议,quic协议是基于UDP协议实现的一套传输协议,支持可靠与非可靠传输两种形式。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/c39034fa55744078b7fb9663de1892bf~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expire...
让我印象比较深刻的就是在使用Spark引擎执行任务出现的报错现象,接下来就回顾复盘下这次任务报错现象及具体的解决方案。### 2. 问题描述因为现在大多数的批量任务都是使用Spark去执行,所以Spark的地位在公司是举足轻重,那么对于Spark的深入理解和优化显得尤为重要,部门人员都在深入学习Spark的执行过程,底层原理等,以期待遇到问题之后能够快速解决。下面对于某次Spark任务执行过程中报错原因描述。> 目前公司DWD层及之后...
StateBackend 是 Flink 向上提供 State 能力的基石,其性能会严重影响任务的吞吐。目前 Flink 提供的生产可用的 Statebackend 主要有两类,一类是 FsStateBackend,另一类是 RocksDBStateBackend。他们的基本原理都是 **提供一个 State API 给用户使用,底层会根据 StateBackend 类型选用不同的存储来存储数据。**![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/da3db080f04a47049e2d5b7...
> 本文结构采用宏观着眼,微观入手,从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程,然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程,第三节剖析 SQL 编译成 MapReduce 的具体实现原理。### 一、HiveHive是什么?Hive 是数据仓库工具,再具体点就是一个 SQL 解析引擎,因为它即不负责存储数据,也不负责计算数据,只负责解析 SQL,记录元数据。Hive直接访问存储在 HDFS 中或者 HBase ...
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... `rename` RPC,则是更复杂的另外一类操作,可能会涉及到多个 INode,甚至是多棵子树下的所有 INode。### **DanceNN** **启动优化**由于我们的 DanceNN 底层元数据实现了本地目录树管理结构,因此我们 DanceNN ...
这些问题需要深入底层,对安卓系统的整个架构都比较熟悉,才能够解决。![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/adca910a06dc4382b9ef1db9ecfdf4b8~tplv-k3u1fbpfcp-5.jpeg?)上图是安卓系统架构图,之前我始终停留在一二层,在这一时期,终于有了纵深的实践经验。比如帮业务方解决一个内存问题,除了要了解内存指标监控方式,还要知道分析不同类型内存使用的工具及基本原理,最后知道是哪里出了问题...
JSON 库的基准编解码性能固然重要,但是对不同场景的最优匹配更关键 —— 于是我们走上了自研 JSON 库的道路。## 开源库 sonic 技术原理由于 JSON 业务场景复杂,指望通过单一算法来优化并不现实。于是在设计 so... 这一方面跟底层文本处理算子的优化有关(见后文“SIMD & asm2asm”章节),另一方面来自于 sonic-JIT 能控制底层 CPU 指令,在运行时建立了一套独立高效的 ABI(Application Binary Interface)体系:- 将使用频繁的变...
(https://uniapp.dcloud.io/)正式商用了自己的小程序,产品名为“**流应用**”,它不是`B/S`模式的轻应用,而是能接近原生功能、性能的`App`,并且即点即用,第一次使用时可以做到边下载边使用。[Weex](http://emas.weex.io/) 是阿里巴巴于 2016 年发布的跨平台移动端开发框架,思想及原理和 `React Native` 类似,底层都是通过原生渲染的,不同是应用层开发语法 (即 DSL,`Domain Specific Language`):`Weex` 支持 `Vue` 语法和 `Rax` ...
EMR Serverless StarRocks 的行存能力,提供高QPS的点查和点更新能力,适用于在线服务服务场景。本文将介绍行存的实现原理和基本特性。 1 实现原理StarRocks中行存表的数据,会根据建表语句中指定的Key字段,将数据划为... 2.3.4 Key Only Scan 行存的底层存储格式是 key-value 形式,key 对应表中的主键,value 是剩下的字段。如果行存表上的查询中只涉及到主键,那么就可以只扫描 key 对应的主键,无需扫描和返回 value 对应的字段,大幅优...
> 深入原理学习如何创建自己的视频处理模块,必然需要了解BMF内部工作机制:多媒体处理框架 BMF 的整体架构分为应用层、框架层、模块层和异构层,共 4 个部分:1. **应用层:** 即顶层,为用户提供多语言的 API,包... 形成一个个处理Task完成视频处理任务。这种模式极大增强了灵活性和可扩展性。在底层,BMF会根据Pipeline拓扑结构,自动为每一段Task分配资源,进行高效调度。它支持多种模式,如同步、异步计算模式等。所有任务都由统一...
为此我们深入去研究Python GPU推理服务的工作原理,推理模型优化的方法。最终通过两项关键的技术: 1.Python的GPU与CPU进程分离,2.使用TensorRT对模型进行加速,使得线上大部分模型服务QPS提升5-10倍左右,大量节约了线... 底层逻辑即可自动把CPU与GPU进行进程级别隔离。其中TensorRT半自动化调试工具,主要定位并解决模型转TensorRT的过程中遇到的各种精度丢失问题。底层基于TensorRT的相关接口与工具进行封装开发。简化TensorRT的优化...
(https://www.volcengine.com/product/veen)。网络作为边缘虚机的底层基础设施之一,其重要性也是不言而喻,它承担着虚拟机实例南北向、东西向的流量连通性职能,而 tun/tap 设备正是 qemu 连通 vm 内外网络的重要虚拟设备。>> 本文将详细介绍 tun/tap 设备的原理及应用,希望能通过本文的介绍读者能对 tun/tap 网络设备有一个更加全面的了解。了解云原生的同学应该都了解过 flannel ,flannel 的 overlay 网络模型中有一种是 UDP...