> 字节跳动数据湖团队在实时数仓构建宽表的业务场景中,探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5282fab093d34715bc3ffd4e8ef135ac~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714494073&x-signature=Vdwq5UZ%2FnOiRLrchv6kVQygdNXU%3D)> **文 |** **字节跳动数据平台数据湖团队** 字节跳动数...
> > > 字节跳动数据湖团队在实时数仓构建宽表的业务场景中,探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。> > > > ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/57d781048a76429e8dd9c6306229eb94~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714494033&x-signature=IsG%2BzDyK%2FX9fJfQ%2FROM47ohyXoQ%3D)**文 |****字节跳动数据平台数...
> 字节跳动数据湖团队在实时数仓构建宽表的业务场景中,探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/82d02c367ab64a659c93c524f76a3bc3~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714494016&x-signature=bv00kXofGg%2F6dPqTTTs1YCNrook%3D)**文 |** **字节跳动数据平台数据湖团队** 字节跳动数据...
# [点击查看直播回放](https://www.volcengine.com/activities/live/meetup6)## 活动介绍随着人工智能技术的发展日趋成熟,AI 的落地应用也越来越多,助力业务不断创新,带来新的增长场景。\在字节跳动,AI 技术经过大用户量和多场景的打磨创新,沉淀了诸多探索应用。10 月 30 日,火山引擎开发者社区 Meetup 第六期,我们邀请到了火山引擎 AI 中台的 5 位大咖,为大家介绍字节跳动在语音生成、语音合成、视觉技术、机器学习、机器翻...
为大家介绍字节跳动在音频生成、视觉技术、机器学习、机器翻译等热门场景的技术实践,带你走近字节跳动的 AI 技术!**《智能音频技术在不同场景下的实践与探索》**萧言 | 字节跳动算法工程师,Stephen|字节跳动语音合成科学家 本次分享将介绍字节跳动智能音频技术的最新进展以及在有声小说、音乐、教育等应用场景的落地应用和思考。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om...
**InfoQ :首先请您做一下自我介绍,您自何时加入字节跳动,以及目前主要负责的工作是?****殷翔**:我是 2018 年加入字节跳动人工智能实验室,负责音频生成算法团队,研究方向包括语音合成、声音转换、歌唱合成、虚拟形象。团队研发技术落地于番茄小说、大力教育、剪映、客服机器人、听头条、游戏 V、行业 ToB 等。**InfoQ:字节跳动从什么时候开始布局智能语音技术的?公司内部对智能语音技术的需求主要来自哪些场景?****殷翔**:字...
该技术已广泛应用在字节跳动内部的教育、视频、小说、客服、硬件、音乐、办公、游戏、广告等业务场景。实践证明,作为新型的生产工具,智能语音技术能够极大地提升 AI 内容生产和创作领域的生产力。**近日,字节跳动 AI-Lab 智能语音 / 语音合成 Leader 殷翔博士接受 InfoQ 的专访,介绍了智能语音技术上在字节跳动的研发进展以及应用实践,并分享了智能语音赋能内容生产的思考。以下为采访实录**。 字节跳动的智能语...
也充分表明了火山引擎语音合成技术能力已达到行业领先水平。 火山引擎语音能力源自字节跳动 AI Lab Speech & Audio 智能语音与音频团队。团队将长期服务字节跳动各业务线的前沿语音技术通过火山引擎开放,提供行业领先的AI语音技术能力以及卓越的全栈语音产品解决方案。目前火山引擎的语音识别和语音合成覆盖了多种语言和方言,涵盖音视频、有声阅读、语音交互、游戏、广告等多种应用场景,为抖音、剪映、飞书、番茄小说、Pico等业务...
Kite 作为字节跳动第一代 Golang RPC 框架,主要存在以下缺陷: 1. Kite 为了快速支持业务发展需求,不可避免地耦合了部分中台业务的功能;2. Kite 对 Go modules 支持不友好(Go modules 在 2019 年才进入语言核心);3. Kite 自身的代码拆分成多仓库,版本更新时推动业务升级困难;4. Kite 强耦合了早期版本的 Apache Thrift,协议和功能拓展困难;5. Kite 的生成代码逻辑与框架接口强耦合,成为了性能优化的天花板。因此,业...
> > > 本文重点介绍了字节跳动EMR产品在SparkSQL的优化实践。> > > > ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/1c70ded42c98406ba095960d56ac98cf~tplv-tl... **字节跳动数据平台EMR团队通过对小广播进行合并广播,解决大量小广播进行传播,导致打爆Driver的情况出现。**EMR 尾声随着企业的业务发展越来越复杂,需要更加灵活,更加高效的数仓架构,在这样...
> 本文重点介绍了字节跳动 EMR 产品在 SparkSQL 的优化实践。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/05326c70286f4724ad409263ab30e591~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714494015&x-signature=BUTHTWWCxV081glu%2FdGDwMhVjiw%3D)文 | **惊帆** 来自 字节跳动数据平台EMR团队## **数据湖引擎集成**Hudi、Iceberg等数据湖引擎目前使用的越来越广泛,...
合并操作,但是随着 File Group 的数量以及存储的数据量增加,定位 File Group 的时间也在增加,这造成了 Upsert 速度逐渐缓慢的情况,这严重影响了任务产出时间,甚至导致任务无法跑下去。![image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/787545a779a844d5a27cf97570686137~tplv-k3u1fbpfcp-5.jpeg?)## 分析与对策为了解决 Upsert 数据场景逐步缓慢的情况,字节跳动数据湖团队对整体的性能下降原因做了进一步分...
杨华辉讲解了《字节跳动函数计算大规模实践及Serverless展望》。分享字节FaaS应用场景与规模、大规模函数计算架构,并展望了Serverless未来发展。本文基于演讲内容整理。 背景介绍Severless Severless 包含两层含义... 字节跳动的 FaaS 规模十分庞大,在进行基建时一定要考虑高可用,高扩展性,爆炸半径控制,合并部署,成本优化,智能扩缩容等。同时,FaaS 也正在支持 PaaS 演进,比如微服务高弹性和 BaaS 建设。 其次,再来看看下面这篇关于...