品质数据分析
社区干货
火山引擎VeDI推出DataWind-分析助手:降低企业数据分析门槛
务数据分析时,分析人员经常需要自定义一些分析维度。以往都需要强依赖分析人员人工编写代码逻辑,来实现分析维度的生成。 代码语言成为了大部分业务人员无法进行灵活、个性化分析的屏障。 **DataWind... 即可返回所需的数据内容。** 这种近乎 **0门槛、极速式** 的数据体验,使得数据分析思考周期大幅缩短,极大保障了数据的准确性和时效性,可以高质量满足大促期间前线业务对数据的多方面需求。 ...
干货|字节跳动基于Flink SQL的流式数据质量监控(上)技术调研及选型
以Kafka数据写入延迟监控为切入点,陆续调研、开发、上线了一系列基于Flink StreamSQL的流式数据质量监控。本文为系列文章的上篇,重点介绍字节跳动数据质量平台技术调研及选型的思考。DataLeap产品调研在2020年下半年,我们决定支持流式数据的质量监控,随即开展了业内的技术调研。主要基于公开的分享或文档资料,调研了Apache Griffin,以及其他四家厂商对应的产品。调研分析了相关友商的计算...
干货 | 字节跳动数据质量动态探查及相关前端实现
探查主要应用在元数据管理,数据研发,数仓的开发以及数据治理,可为对数据质量有需求的场景提供数据质量的发现和识别能力。目标用户除了研发同学,也包含不是以SQL研发为主的群体,比如算法建模和数据挖掘等领域。**探查可以有效的打通三个闭环:**1. 元数据管理 -> 探查 -> 数据预览探查(库表的质量报告)2. 数据监控 <-> 数据探查3. 动态探查 -> SQL -> 数据开发 -> 调试 -> 探查报告(质量分析)**3. **操作** **栈** **:需要对数据操作进行管理和回溯**基于immutable和操作流实现操作栈。6. **编辑器:提供完整函数的功能,需要:词法解析,智能提醒,语法高亮。**基于编辑器...
特惠活动
品质数据分析-优选内容
品质数据分析-相关内容
干货|字节跳动基于Flink SQL的流式数据质量监控(上)技术调研及选型
以Kafka数据写入延迟监控为切入点,陆续调研、开发、上线了一系列基于Flink StreamSQL的流式数据质量监控。本文为系列文章的上篇,重点介绍字节跳动数据质量平台技术调研及选型的思考。DataLeap产品调研在2020年下半年,我们决定支持流式数据的质量监控,随即开展了业内的技术调研。主要基于公开的分享或文档资料,调研了Apache Griffin,以及其他四家厂商对应的产品。调研分析了相关友商的计算...
干货 | 字节跳动数据质量动态探查及相关前端实现
探查主要应用在元数据管理,数据研发,数仓的开发以及数据治理,可为对数据质量有需求的场景提供数据质量的发现和识别能力。目标用户除了研发同学,也包含不是以SQL研发为主的群体,比如算法建模和数据挖掘等领域。**探查可以有效的打通三个闭环:**1. 元数据管理 -> 探查 -> 数据预览探查(库表的质量报告)2. 数据监控 <-> 数据探查3. 动态探查 -> SQL -> 数据开发 -> 调试 -> 探查报告(质量分析)**3. **操作** **栈** **:需要对数据操作进行管理和回溯**基于immutable和操作流实现操作栈。6. **编辑器:提供完整函数的功能,需要:词法解析,智能提醒,语法高亮。**基于编辑器...
获取实时质量数据 ListRealTimeQuality
你可以使用此接口查询一段时间内,某个应用的音视频通话实时质量指标数据。若要查询地域分布、设备平台、网络类型等维度的实时质量数据,建议调用 ListRealTimeQualityDistribution 接口。 使用说明接口行为可以调用 ListRealTimeQuality 接口,指定你所属的 AppId,指标类型和查询时间段,查询该时间段内指标的数据。 调用接口关于调用接口的请求结构、公共参数、签名算法和返回结构,参看调用方法。 注意事项最大请求次数:2 次/秒 最...
获取实时质量数据 ListRealTimeQuality
你可以使用此接口查询一段时间内,某个应用的音视频通话实时质量指标数据。若要查询地域分布、设备平台、网络类型等维度的实时质量数据,建议调用 ListRealTimeQualityDistribution 接口。 使用说明接口行为可以调用 ListRealTimeQuality 接口,指定你所属的 AppId,指标类型和查询时间段,查询该时间段内指标的数据。 调用接口关于调用接口的请求结构、公共参数、签名算法和返回结构,参看调用方法。 注意事项最大请求次数:2 次/秒 最...
揭秘|字节跳动基于Flink SQL的流式数据质量监控(下)实践细节
字节跳动数据质量平台对于批处理数据的质量管理能力已经十分丰富,提供了包括表行数、空值、异常值、重复值、异常指标等多种模板的数据质量监控能力,也提供了基于spark的自定义监控能力。另外,该平台还提供了数据对... Flink底层执行逻辑是消费Kafka的数据,并根据Source Table的schema进行解析、提取相应的字段,供后续Rule阶段使用。根据需求,创建的Kafka Source Table支持从消息header中取字段,支持json和pb格式,也支持按百分比取样...
干货|一套架构框架满足流批数据质量监控
抖音等不同产品线的复杂数据质量场景,字节跳动数据质量平台如何满足多样的需求?本文将介绍我们在弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突等方面的经验,同时介绍火山引擎数据质量平台是... **湖仓一体分析服务LAS**湖面向湖仓一体架构的Serverless数据处理分析服务,提供一站式的海量数据存储计算和交互分析能力,完全兼容 Spark、Presto、Flink 生态,帮助企业轻松完成数据价值洞察。**后台回复数**...
对话抖音电商:量级庞大、参差不齐,“数据质量治理”有妙招!
基于数据驱动思路,在数仓建设、数据管理等层面的工作,推动抖音电商能准确分析和测量数据,做出以数据为依据的决策,从而推动业务快速发展。 其中,数据有效性、及时性、准确性关系到 C 端用户体验和 B 端商家决策,在数据体量庞大的情况下,难以避免数据缺失、纬度错误、产出延时等问题,这与数据质量管理息息相关。 本文对话抖音电商团队,为你揭秘庞大数据体量下的数据质量管理最佳实践。 据抖音电商数据团队介绍,目...
获取离线质量数据 ListQuality
你可以使用此接口查询一段时间内,某个应用的音视频通话离线质量指标数据。若要查询地域分布、设备平台、网络类型等维度的离线质量数据,建议调用 ListQualityDistribution 接口。 使用说明接口行为你可以调用 ListQuality 接口,指定你所属的 AppId,指标类型和查询时间段,查询该时间段内指标的数据。 调用接口关于调用接口的请求结构、公共参数、签名算法和返回结构,参看调用方法。 注意事项最大请求次数:2次/秒 最远可查询时间:30...
