零信任策略引擎框架设计
社区干货
DataLeap的Catalog系统近实时消息同步能力优化
所以团队自研了轻量级异步消息处理框架,很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景,并详细介绍框架的设计与实现。> 对应产品功能为**[DataLeap 大数据研发治理套件](https://www.vol... Task:消费消息并处理的一条Pipeline,Task之间资源是相互独立的。## 框架架构...
十个月,专访李本超的 Apache Calcite PMC 进击之路
本文出自字节跳动基础架构流式计算方向的工程师李本超同学专访。李本超从2022年3月开始参与 Apache Calcite 社区贡献,主要贡献了包括子查询优化、Join 优化、JSON 函数优化、JDBC Adapter、通用的表达式优化等。于... 我发现 Calcite 里面有非常多的经典设计和思想,而且对于 SQL 引擎这个领域,Calcite 可以说是非常权威的。也是这些原因逐步的吸引着我更加深入的了解,也一步一步走向对 Calcite 社区进行贡献的道路。我的第一个 ...
2022技术盘点之平台云原生架构演进之道|社区征文
全场景的安全架构规划:从网络边界、内部网络、各类基础设施、数据、业务应用到后期监控响应,运维管控,在各层面均进行安全管控设计,实现全方位立体式防护;- 云安全产品防护:借助腾讯SaaS安全产品包括安全体检(漏... 应用层:平台应用采用安全框架,并严格遵守SDLC,将SecDevOps践行在应用全生命周期中;- 运维层:进行MSS持续性运维,对应用无论从外部探测到分布式链路最终,均进行安全可观测行施行;- 云平台层:重复利用云平台提供安...
火山引擎大规模机器学习平台架构设计与应用实践
本文主要介绍了火山引擎云原生机器学习平台在高性能计算和存储的规模化调度上的架构设计,如何对模型分布式训练进行加速,以及平台如何满足开发过程的标准化和团队协作的需求。 模型训练痛点... 在使用一些框架的时候我们希望读写存储能够像读本地文件一样方便,这就需要存储接口友好,代码零修改,兼容 POSIX。同时能便捷传输,方便数据上云下云。有一些客户对安全性有要求,客户之间的存储要进行隔离。* 存储的...
特惠活动
零信任策略引擎框架设计-优选内容
零信任策略引擎框架设计-相关内容
火山引擎大规模机器学习平台架构设计与应用实践
介绍我们如何进行机器学习平台的架构设计。## 云原生机器学习平台架构设计我们主要在两方面做了投入:一是高性能计算和存储的规模化调度;二是模型分布式训练的加速。### 高性能计算和存储的规模化调度——挑战... 火山引擎机器学习平台公有云上的系统,云原生本身会带来一些虚拟化损耗,比如网络和容器会进行一定的虚拟化,存储的分层池化也会带来负载均衡的问题。繁多的分布式训练框架:火山引擎机器学习平台的用户很多,不同的任...
抖音春晚幕后|支撑 12 亿红包雨的云原生基础设施
抖音技术团队和火山引擎云原生团队通过云原生化的基础架构设计和敏捷开发流程设计,保障了红包互动活动的安全、稳定、顺畅开展。 **本文主要介绍了火山引擎云原生团队在本次活动中的一些贡献。** 来源 | 火... 也获得了春晚互动零卡顿、零宕机的佳绩。 27 天的技术奇迹 官宣成为央视《春节联欢晚会》独家互动合作伙伴,对字节跳动内部的各个团队来说,都意味着业界的信任和新的技术挑战:...
字节携多个议题登陆 GOTC 2023,更有特别展位邀你打卡
字节为了开源事业能有顶层的战略思考和设计规划,同时让开源项目有更好地发展,保证开源合规,字节决定成立 OSPO 中台组织,主要有以下几个方面的目的:+ 制定公司级开源战略:明确开源的价值、目标与策略,确保有体系... 如企业级云原生微服务架构的中间件集合 **CloudWeGo** ,存储计算分离的数仓引擎 **ByConity** ,高性能 transformer 加速引擎 **lightseq** ,分布式深度学习通信框架 **BytePS** ,云原生项目合集 **KubeWharf*...
干货|从数据治理看,如何打赢“双11”的数字化战争
因此应该打造体系化的数据治理架构。关于体系化的数据治理架构定义,首先体系是一个科学术语,一般指一定范围或同类事物按照一定秩序和联系的组合整体,体系化数据治理是把某个方向治理形成一个整体有序的闭环框架,具备合理的顶层治理设计,有效的治理运营策略以及高效的底层技术支撑。体系化数据治理的三个体系包括: **********●********** 稳定性体系**********●**********成本体系**********●**********效...
「一周资讯精选」定期更新 [11.4-11.10] | 火山引擎开发者社区
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/3c1bfe2217b24c398a1074d3076ccc91~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714407670&x-signature=cnlao58%2F3MlWfYZPNTkbl5%2FxU84%3D)## 11.4-11.10🔥**技术干货**[1. 如何在火山引擎云上部署 Langchain-ChatGLM](https://developer.volcengine.com/articles/7299046374467698739)🔥**产品动态**[1. 火山引擎存储...
学习 SSL/TLS ,这一篇就够了
那么可以试试火山引擎的证书中心产品,在这里先做个简要介绍,或许结合它一起阅读本文,会有更佳体验。火山引擎证书中心是数字证书的全生命周期管理平台,为网站、App 和小程序提供 HTTPS 安全解决方案,此外还有多个... 是整个 TLS 握手信任的锚点。CA 证书又被称为数字证书,证书主要包含证书拥有者的身份信息,CA 机构的签名,公钥和私钥。CA 证书预埋在操作系统信任的库中,是一串能够表明网络用户身份信息的数字,用 CA 证书的私钥为 ...
从学习到实践——火山引擎多媒体处理框架BMF的深度探索 | 社区征文
# 使用常见问题在调用 BMF(火山引擎多媒体处理框架)部署安装过程中,可能会遇到以下一些常见问题和对应的解决方法:**1.安装依赖项:** 在安装 BMF 之前,确保您的系统已安装了所有必需的依赖项。这可能包括特定的库... **模块化设计:** BMF 的模块化设计使得多媒体处理能力可以以原子能力的形式进行扩展和管理。这种设计使得开发人员可以根据实际需求选择和组合不同的处理能力,实现高度定制化的多媒体处理链路。**高性能:** BMF 通...
解密2023年云原生的安全优化升级,告别高危漏洞、与数据泄露说“再见”(安全管控篇)|社区征文
# 背景介绍2023年,我们见证了科技领域的蓬勃发展,每一次技术革新都为我们带来了广阔的发展前景。作为后端开发者,我们深受其影响,不断迈向未来。随着数字化浪潮的席卷,各种架构设计理念相互交汇,共同塑造了一个充... **解决方案**:采用非root容器和无root容器引擎,使用构建的容器,以非root用户身份运行应用程序,可以防止使用root权限执行,从而限制容器受损的影响。##### 非root容器容器引擎允许容器以非root用户和非root组成员...
技术人的 2023 总结|火山引擎开发者社区第四届有奖征文大赛来袭!
火山引擎开发者社区持续给大家带来高质量的技术内容,社区小伙伴们也终于能在线下相互交流学习。这一年见证了 AIGC 与大模型技术的井喷式发展,AI 技术加速渗透到千行百业;云计算基础设施和 AI 基础设施也在加速更迭... BMF 是一套通用的多媒体处理框架,通过提供简洁易用的跨语言接口、灵活的调度和扩展性,以模块化的方式动态扩展、管理和复用视频处理的原子能力。它以 graph/pipeline 的方式构建高性能的多媒体处理链路,同时还可以直...
