You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

提高配置数据预处理的YAML文件效率和可维护性

面向开发者的云福利中心,ECS 60元/年,域名1元起,助力开发者快速在云上构建可靠应用

社区干货

2022技术盘点之平台云原生架构演进之道|社区征文

平台可纳管不同环境、不同云厂商资源统一管理,并结合平台的统一监控告警、统一服务管理、统一运营管理、统一运维管理、自动化运维等能力能极大简化云用户、云运维、云运营各角色的工作复杂度,提升管理效率和资源交... 配合K8s原生服务注册发现/配置中心/分布式调度中心/日志/监控/告警/链路追踪/DevOps等构筑完整应用体系;- 数据层:存储使用有云硬盘/对象存储/CFS,数据库有MongoDB分片集群/MySQL/Redis/ElasticSearch/RabbitMQ进行...

「跨越障碍,迈向新的征程」盘点一下2022年度我们开发团队对于云原生的技术体系的变革|社区征文

从而就实现了可以扩展为其他容器实现的急促> tips:维护dockershim 已经成为 Kubernetes 维护者肩头一个沉重的负担。 创建 CRI 标准就是为了减轻这个负担,同时也可以增加不同容器运行时之间平滑的互操作性。 但反... Kubernetes的Yaml文件配置优化阶段- kubernetes的应用故障排查#### 探针经常会无缘无故Killed我们的服务##### 探针的种类- livenessProbe:指示容器是否正在运行。如果存活态探测失败,则 kubelet 会杀死容...

浅谈分布式操作系统 KubeWharf 的第二批开源项目|社区征文

单机层包括自研的数据监控体系,以及负责资源实时分配和动态调整的资源分配器;- 最底层是字节定制的内核,通过增强内核的 patch 和底层隔离机制解决在离线跑时单机性能问题。![picture.image](https://p6-v... 早期出于隔离和安全的考虑,字节的各个业务线独占集群,但随着业务壮大,这些独占的集群形成资源孤岛,开始影响资源的弹性效率:1)各个业务线需要维护独立的 buffer;2)业务和集群深度绑定,业务感知大量的集群,并在集群之...

云原生环境下的日志采集、存储、分析实践

> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系... 开源方案一般采用单机 yaml 做采集配置,当节点数很多的时候,配置非常繁琐。- 开源系统的采集配置难以管理,数据源也比较单一。![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ee1a0bbb87914...

特惠活动

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

提高配置数据预处理的YAML文件效率和可维护性-优选内容

2022技术盘点之平台云原生架构演进之道|社区征文
平台可纳管不同环境、不同云厂商资源统一管理,并结合平台的统一监控告警、统一服务管理、统一运营管理、统一运维管理、自动化运维等能力能极大简化云用户、云运维、云运营各角色的工作复杂度,提升管理效率和资源交... 配合K8s原生服务注册发现/配置中心/分布式调度中心/日志/监控/告警/链路追踪/DevOps等构筑完整应用体系;- 数据层:存储使用有云硬盘/对象存储/CFS,数据库有MongoDB分片集群/MySQL/Redis/ElasticSearch/RabbitMQ进行...
「跨越障碍,迈向新的征程」盘点一下2022年度我们开发团队对于云原生的技术体系的变革|社区征文
从而就实现了可以扩展为其他容器实现的急促> tips:维护dockershim 已经成为 Kubernetes 维护者肩头一个沉重的负担。 创建 CRI 标准就是为了减轻这个负担,同时也可以增加不同容器运行时之间平滑的互操作性。 但反... Kubernetes的Yaml文件配置优化阶段- kubernetes的应用故障排查#### 探针经常会无缘无故Killed我们的服务##### 探针的种类- livenessProbe:指示容器是否正在运行。如果存活态探测失败,则 kubelet 会杀死容...
浅谈分布式操作系统 KubeWharf 的第二批开源项目|社区征文
单机层包括自研的数据监控体系,以及负责资源实时分配和动态调整的资源分配器;- 最底层是字节定制的内核,通过增强内核的 patch 和底层隔离机制解决在离线跑时单机性能问题。![picture.image](https://p6-v... 早期出于隔离和安全的考虑,字节的各个业务线独占集群,但随着业务壮大,这些独占的集群形成资源孤岛,开始影响资源的弹性效率:1)各个业务线需要维护独立的 buffer;2)业务和集群深度绑定,业务感知大量的集群,并在集群之...
云原生环境下的日志采集、存储、分析实践
> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系... 开源方案一般采用单机 yaml 做采集配置,当节点数很多的时候,配置非常繁琐。- 开源系统的采集配置难以管理,数据源也比较单一。![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ee1a0bbb87914...

提高配置数据预处理的YAML文件效率和可维护性-相关内容

云原生环境下的日志采集、存储、分析实践

作者:刘卯银|火山引擎日志系统架构师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。谈到日志系统,首先要从日志说起,日志在 IT 系统里... 开源方案一般采用单机 yaml 做采集配置,当节点数很多的时候,配置非常繁琐。 - 开源系统的采集配置难以管理,数据源也比较单一。![图片 2 (2).png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/824...

VikingDB:大规模云原生向量数据库的前沿实践与应用

索引参数以及硬件等维度表示了精度和延迟之间的取舍。最左侧第一张图相对比较了 FLAT、IVF、HNSW 这三种索引算法的计算精度和延迟。向量检索的计算和访存 IO 都非常重,为了提高查询效率,ANN 索引都会对数据做剪... 因此我们整理出了基于内存带宽的性能预估方法。我们考虑 1000 万条 128 维 Float 向量的 ANN 计算场景,仅就一般情况粗略估算,实际中向量的分布情况会对检索性能和精度产生影响,需要通过搜参调优。![picture.ima...

轻量级 Kubernetes 多租户方案的探索与实践

作者:任静思,火山引擎云原生工程师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了字节跳动轻量级 Kubernetes 多租户方案 KubeZoo 的适用场景和实现原理。## Kubernetes 多租户模型伴随着云原... 通过上面的架构图可以看出,KubeZoo 作为一种多租户的方案,有一些独特的特性。- 首先 KubeZoo 能提供足够的租户隔离性: - 每个租户的请求都经过了 KubeZoo 的预处理。不同租户之间的请求被映射到了后端集...

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

边缘智变:深度学习引领下的新一代计算范式|社区征文

数据处理的速度和效率提出了更高的要求。因此,边缘计算作为云计算的扩展,逐渐受到业界的关注和重视。边缘计算将数据处理和应用的负载从中心向设备边缘迁移,能够提高数据处理的速度和效率,降低延迟,为许多应用领域... 数据采集我们可以使用医疗设备和传感器采集患者的生理数据,心电图、血压、血糖等。这些数据可以通过设备层发送到边缘服务器层,发送前也要做好数据处理的预处理工作。2. 数据处理在边缘服务器层,使用数据处...

弹性容器实例:基于 Argo Workflows 和 Serverless Kubernetes 搭建精细化用云工作流

周期性自动完成大量重复数据作业的处理;* **AI 模型训练**。模型训练通常都有规范化的流程:数据收集、数据预处理、模型构建、模型编译、模型训练和模型评估等。这一流程同样可以通过 Argo Workflows 在 Kubernetes 集群中自动执行,从而实现资源成本的有效控制;* **基础设施自动化**。Argo Workflows 也可以被用于自动化基础设施流程,比如自动管理云资源配置等,降低运维复杂度,让开发人员更有效率。随着以生成式人...

字节跳动湖平台在批计算和特征场景的实践

随之而来的是内部业务方对原始数据存储、特征回填需求、降低成本、提升速度等需求的期待。本次分享将围绕问题背景、选型& Iceberg 简介、基于 Iceberg 的实践及未来规划展开。>> >作者:刘纬整理:王吉东,于... Apache Iceberg 是由 Netflix 公司推出的一种用于大型分析表的高性能通用表格式实现方案。如上图所示,系统分成引擎层、表格式层、文件格式层、缓存加速层、对象存储层。图中可以看出,Iceberg 所处的层级和 Hudi,...

干货|火山引擎DataTester:A/B实验平台数据集成技术分享

数据清洗和数据预处理问题,提高企业的A/B测试效率和准确性,**从而为企业开实验提供有力的支持。 ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/935c6097cc55481fa49f8dbb311bf6fd~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714839651&x-signature=K6NyVll83YHc5LFgBpnzVZwKTOU%3D) **上图是使用DataTester数据集成平台最基础的配置流程,**可以看到,用...

云原生环境下的日志采集、存储、分析实践

本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。作者:刘卯银|火山引擎日志系统架构师谈到日志系统,首先要从日志说起,日志在 IT... 配置非常繁琐。* 开源系统的采集配置难以管理,数据源也比较单一。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/4004510ff90a4b13bca7d3870145b53c~tplv-tlddhu82om-ima...

决赛落地,FinGLM 开源 | 我们致力于打造有含「金」量的开源项目

任何人都可以学习使用* 把比赛相关数据全部开源,供学习、研究使用* 把参与复赛和决赛的部分项目开源,供落地使用* 开发相关课程,供学习使用* 长期维护优化 FinGLM 项目,为大家提供便捷方案---SMP 2023... 我们整理了 70G、11588 份上市公司年报,并人工标注了 10000 条评测数据。为了提高大家的积极性,我们拿出了一个 ChatGLM-12B 模型授权,40w 的算力,以及 10 万元现金作为奖励。阿里云还给所有的参赛选手提供了算力支...

特惠活动

热门爆款云服务器

100%性能独享,更高内存性能更佳,学习测试、web前端、企业应用首选,每日花费低至0.55元
60.00/1212.00/年
立即购买

域名注册服务

cn/top/com等热门域名,首年低至1元,邮箱建站必选
1.00/首年起32.00/首年起
立即购买

DCDN国内流量包100G

同时抵扣CDN与DCDN两种流量消耗,加速分发更实惠
2.00/20.00/年
立即购买

产品体验

体验中心

云服务器特惠

云服务器
云服务器ECS新人特惠
立即抢购

白皮书

一图详解大模型
浓缩大模型架构,厘清生产和应用链路关系
立即获取

最新活动

爆款1核2G共享型服务器

首年60元,每月仅需5元,限量秒杀
立即抢购

火山引擎增长体验专区

丰富能力激励企业快速增长
查看详情

数据智能VeDI

易用的高性能大数据产品家族
了解详情

一键开启云上增长新空间

立即咨询