大数据公司网站
社区干货
字节跳动大数据 SQL 权限精细化管理实践 | CommunityOverCode Asia 2023
业界在安全合规侧的压力也在日益增大,所有的数据使用者都需要遵循权限最小化原则。而 SQL 作为数据分析领域最简单、最通用的语言之一,在大数据场景下的应用非常广泛。针对 SQL 场景,传统的权限管控方式基本都是库、表、列级别权限管控。此类权限管控粒度相对较粗,难以满足日益严格的数据监管需求。我们可以通过如下两个简单的例子说明,列粒度权限难以满足用户侧的多元的使用需求:1. 有些公司多条业务线的数据可能会落入统一...
9年演进史:字节跳动 10EB 级大数据存储实战
目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。--------------------------------... 在大数据量场景下,我们亟需一个新架构版本的 Name Node 来承载我们的海量元数据。除了 C++语言重写来规避 Java 带来的 GC 问题以外,我们还在一些场景下做了特殊的优化。#### **目录树锁设计**HDFS 对内是一...
大数据技术年度总结 | 主赛道
大数据技术已经成为当今社会不可或缺的重要支撑。作为一名从事大数据技术研究的工程师,我深感荣幸能够参与到这个充满挑战和机遇的领域。本文将对我过去一年的工作进行总结,并展望未来的发展趋势。***大数据可视... 为团队和公司的知识库做出贡献。## 三、沟通能力在大数据项目中,良好的沟通能力是至关重要的。为了提高自己的沟通能力和团队协作能力,我计划采取以下措施:加强与其他部门的合作与交流,了解他们的需求和痛点,...
集简云 x 云医创想,帮助企业管理层实时掌握营销动态信息,提高上下级协同效率
深圳云医创想科技有限公司(简称“云医创想”)是一家专业从事智能医疗信息化的高新技术企业。公司在创新医疗卫生信息生态战略在局,运用大数据、人工智能(Al)技术,构建智能化医疗服务体系,为医院、医生和患者提供安全... 它可以与企业的各种自建或者第三方业务系统对接,包括客服系统,CRM系统,网站数据分析系统,电子商务系统,物流管理系统,企业数据库,企业API接口等,通过无代码集成方式无需开发即可建立自动化业务流程。 
特惠活动
大数据公司网站-优选内容
大数据公司网站-相关内容
火山引擎发布流式计算 Flink 产品,助力构建大数据实时计算平台
大数据是企业数字化转型中,支撑企业经营和业绩增长的主要手段之一。而实时化、云原生化已经成为大数据技术发展的必然趋势。4月18日,火山引擎春季 FORCE 原动力大会在上海举办。在会上,火山引擎发布了云原生大... 更是完成了公司内 JStorm 作业的 100% 迁移。到 2019 年,字节内部 Flink 的应用迅速扩大,几乎覆盖包括抖音、头条、西瓜在内的各个产品。与此同时,团队开始积极参与到社区的共建中,在 2020 年李本超同学受邀成为 Ap...
火山引擎——大数据智能平台的构建策略与步骤|社区征文
大数据是社会数字化的产物,随着业务成熟度的逐渐向上发展,面对的需求逐渐多样化和个性化,对于创新的要求也越来越高,因此可以说智能数据是大数据发展的高级阶段,是大数据在应用创新落地方向的核心要求。## []()01... 这些城镇就好比我们公司中不同的业务系统。对于有些公司来说,系统比较单一、异构程度不大,那么应该还好处理;对于另外一些公司而言,业务系统比较多,异构程度也比较大,这个时候难点就在于梳理下面的几个方面:● 哪...
演讲预告|云原生大数据系列实践分享
随着行业的快速发展和业务的高速迭代,数据量也呈爆炸式增长,传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。云原生大数据方案,逐渐成为众多企业解决传统大... 个人介绍:硕士毕业于哈工大计算机专业,10 年大数据和云原生领域从业经验。2017 年加入字节跳动,构建了字节跳动千万级核心的集群资源管理和调度系统,支撑了全公司的数据平台、搜索、广告、推荐算法等中台,以及抖音、...
途牛科技携手火山引擎数智平台打造企业大数据系统“降本”新范式
近日,南京途牛科技有限公司与火山引擎数智平台(VeDI)的合作获得新进展:途牛大数据系统全面迁移至火山引擎开源大数据平台 E-MapReduce。旗下的【途牛旅游网】可以为线上、线下消费者提供包括跟团、自助、自驾、邮轮、景区门票以及公司旅游、机票、酒店等在内的产品和服务——“要旅游,找途牛”的企业口号,更是...
ApacheCon - 云原生大数据上的 Apache 项目实践
毕业于北京大学,目前就职于字节跳动流式计算团队,Flink SQL 技术负责人。 **专题:数据湖与数据仓库** * #### **基于 Flink 构建实时数据湖的实践** **王正** **火山引擎** **云原生** **计算研发工程师** **闵中元** **火山引擎** **云原生** **计算研发工程师** **演讲简介:** 实时数据湖是现代数据架构的核心组成部分,它允许企业实时分析和查询大量数据。在这场分享中,我们将首...
火山引擎云原生大数据在金融行业的实践
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/1bf9b6734fda48f2aa37bc5363d30bb5~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715358050&x-signature=%2B%2B2%2F7VxbY9IL9I79PiuJrfA1e6o%3D)大数据架构向云原生演进是行业的重要趋势,火山引擎协助关键金融客户在大数据云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。...
智能数据洞察
介绍智能数据洞察DataWind是一款基于大数据明细级别分析的增强型ABI平台。能够提供万亿级数据、亚秒级查询的计算性能,支持丰富的可视化效果和简易的拖拽式操作,能够融合AI技术对数据进行智能洞察。DataWind是火山引擎的一个产品。 创建ByteHouse帐户您需要创建ByteHouse帐户才能使用智能数据洞察DataWind。您可以简单地创建一个免费帐户,具体步骤在我们的官方网站文档中说明。或者,您可以通过字节跳动的火山引擎创建ByteHouse帐户...
「火山引擎」数智平台 VeDI 数据中台产品双月刊 VOL.03
一站式数据中台套件,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,提升数据研发效率、降低管理成本。搭配 EMR/LAS 大数据存储计算引擎,加速企业数据中台及湖仓一体平台建设,为企业数... 删除以及增量数据处理;可助力构建高效的企业级数据湖,目前已经在国内外多个大型公司生产落地。Apache Hudi 中文社区技术交流会固定于**每月最后一个周四晚上 19:30 到 20:30** 开播,会议由火山引擎湖仓一体分析服务...
9年演进史:字节跳动 10EB 级大数据存储实战
超大数据规模 - 易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计...
