aiot算法工程师
社区干货
GLM-4 All Tools 研发团队招聘|大模型算法工程师
**职位名称:大模型算法工程师**招聘人数:5 人工作地点:北京,清华科技园,搜狐网络大厦***工作内容**** 参与 GLM-4 All Tools 系统的迭代升级及工程落地+ 网页浏览/代码解释/图片生成单工具调用性能提升+ 复杂场景下的多工具联合调用能力提升+ 定制化场景下模型的能力提升(GLMs)+ 工程化系统框架的落地及上线***职位要求**** 计算机、深度学习、机器学习等相关专业,硕士及以上学历* 扎实的技术基础,较强...
字节跳动正式开源分布式训练调度框架 Primus
> 项目地址:https://github.com/bytedance/primus 随着机器学习的发展,模型及训练模型所需的数据量越来越大,也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解,才能够快速批量开启模型训练,保证资源利用率。目前业界有很多类似的框架,如 TonY、TensorFlowOnSpark,Kubeflow 中的 Training Operators 等,但这些框架或多或少存在某些问题,如与固定的机器学习...
保姆级人工智能学习成长路径|社区征文
最终达到一名合格的算法工程师。希望大家能够跟随我一步步迈进人工智能的殿堂,一起冲鸭~~~ 先简单说一下学习的最大误区就是一上来闷头看视频。看视频是非常低效的学习方式,相比于阅读来说,在同样的时间内看视频学习到的知识量是远远小于阅读的。当然,国内外著名大学的经典视频有时间也可以看看。所以在后续的每个阶段学习中,都会介绍重点的学习教材。# 1. 第一阶段:编程语言学习 在IT届,最让人朗朗上口的谚语是:Talk is che...
Meetup 精彩回顾& PPT 领取|字节跳动和 OPPO 背后的算法技术实践
点击上方👆蓝字关注我们!  9 月 25 日,火山引擎开发者社区 Meetup 第五期邀请到了字节跳动和 OPPO 的资深算法工程师为大家介绍了智能语音、机器翻译、...
特惠活动
aiot算法工程师-优选内容
aiot算法工程师-相关内容
Flink on K8s 企业生产化实践|社区征文
# 背景为了解决公司模型&特征迭代的系统性问题,提升算法开发与迭代效率,部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题,在大数据与算法间架起科学桥梁,提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ,将数据抽取到特征平台进行管理,并统一了数据出口,供数据科学家、数据工程师、机器学习工程...
字节跳动湖平台在批计算和特征场景的实践
火山引擎云原生计算研发工程师-刘纬整理|王吉东、于惠 **01** **问题背景** **用户使用流程**如我们所知,字节跳动是一家擅长做 A/B test 的公司。以特征工程调研场景为例,流程如下:* 首先由算法工程师进行在线特征抽取;* 将抽取到的特征,使用 Protobuf 的格式按行存至 HDFS;+ 出于存储成本的考量,一般只存储抽取后的特征,而不存储原始特征* 将 HDFS 存储的...
能力介绍
产品简介自动识别过度拉伸的图像,将图像内容恢复成正常比。 产品优势算法出色:基于海量数据训练和实际业务场景的打磨,效果出色。 能力丰富:丰富的图像质量优化技术,满足各类业务场景需求。 持续升级:算法工程师持续升级算法,服务工程师提供可靠支持。 业务驱动:算法响应业务需求而持续迭代,助力效果不断优化。 应用场景智能图像优化适用于图库、社交、PUGC内容平台的图像质量优化场景,高效解决图片拉伸问题。 Demo展示 计费说明温...
字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化
只能通过 PySpark 的方式对于算法工程师来说不太友好。- Apache Iceberg 是一种开放的表格式,记录了一张表的元数据:包括表的 Schema、文件、分区、统计信息等。这种元数据计算具备高拓展性,为数据湖管理提供了更好的支持、更快的文件扫描。然而 Iceberg 的 MOR 方式也存在一些问题,比如社区版不支持只更新部分列(Partial Update)等。值得一提的是,Iceberg 提供了对 Python API 的支持,这对于算法工程师来说是一个很重要的优势...
字节跳动湖平台在批计算和特征场景的实践
首先由算法工程师进行在线特征抽取;- 将抽取到的特征,使用 Protobuf 的格式按行存至 HDFS;出于存储成本的考量,一般只存储抽取后的特征,而不存储原始特征- 将 HDFS 存储的特征交由字节自研的分布式框架( Primus )进行并发读取,并进行编码和解码操作,进而发送给训练器。- 由训练器对模型进行高效训练如果模型训练效果符合算法工程师的预期,说明该调研特征生效,进而算法工程师对调研特征进行回溯,通过 Spark 作业将特征...
能力介绍
产品简介基于深度学习算法,适用于检测车辆的车牌区域,是车牌识别的基础。 产品优势性能优异:业内顶尖的算法效果,高精度,高性能,低功耗。 算法出色:基于海量数据训练和实际业务场景的打磨,效果出色。 持续升级:算法工程师持续升级算法,服务工程师提供可靠支持。 业务驱动:算法响应业务需求而持续迭代,助力效果不断优化。 应用场景道路交通管理交通违章场景的车牌检测,停车场收费管理. 车牌号处理对图片、视频中的车牌号进行遮挡处...
智能时代的算法技术实践|火山引擎开发者社区 Meetup 第五期
### [点击查看直播回放](https://www.volcengine.com/activities/live/meetup5)### 活动介绍随着智能算法的应用日渐深入,内容推荐、语音助手等已融入现代生活方式,不断提升效率,推动我们朝智能时代发展。9 月 25 日,火山引擎开发者社区 Meetup 第五期联合 OPPO 的资深算法工程师,为大家介绍了智能语音、机器翻译、自然语言处理等技术的最新进展及其在语音交互、内容推荐等场景的应用实践,带大家探秘字节跳动和 OPPO 背后的...
字节跳动在联邦学习领域的探索及实践
算法研究、软件系统及实践经验。 联邦学习简介 首先,我们简单介绍联邦学习的定义。 大数据是机器学习的石油,但数据孤岛问题普遍存在。由于用户隐私、商业机密、法律法规监管等原因,各机构无法将数据整合在一起,用来... 我们开发了一个可视化的 WebConsole 界面方便算法工程师操作,所有双方通信都经过 Ingress-Nginx 的接入层来进行加密的跨公网通信。 联邦学习的过程需要参与双方经过公网来传输数据,为了安全的经过公网通信,我们采...
能力介绍
产品简介检测到车辆的位置并稳定的跟踪,是车辆后续的算法的基础,应用于检测、分割、变色等诸多项目。 产品优势性能优异:业内顶尖的算法效果,高精度,高性能,低功耗。 算法出色:基于海量数据训练和实际业务场景的打磨,效果出色。 持续升级:算法工程师持续升级算法,服务工程师提供可靠支持。 业务驱动:算法响应业务需求而持续迭代,助力效果不断优化。 应用场景驾驶辅助对智能驾驶等场景进行辅助。 Demo展示 计费说明温馨提示:次数包...
