当前位置:百乐门 > 互联网科技 > One plus云公布国内第四个 AI 模型集镇,加快集团 AI 应用名落孙山

One plus云公布国内第四个 AI 模型集镇,加快集团 AI 应用名落孙山

文章作者:互联网科技 上传时间:2020-02-01

智东西(公众号:zhidxcom)文 | 心缘

华为云在 3 月 21 日的 2019 华为中国生态伙伴大会上,正式发布华为云 AI 市场;同时宣布投入专项激励,在 AI 市场上帮助开发者、合作伙伴加速企业的 AI 应用落地。

时间: 2019-09-23阅读: 161标签: 技术

就在上周三,斯坦福大学发布了最新的 DAWNBench 榜单,这是全球人工智能领域最权威的竞赛之一。华为云 ModelArts 一站式AI开发平台,将图像识别总训练时间和推理性能榜单的冠军收入囊中。

华为云 AI 市场是在华为云 ModelArts 一站式AI开发平台基础上构建的开发者生态社区,提供 AI 模型、API 交易以及数据、竞赛案例等内容共享功能,为高校科研机构、AI 应用开发商、解决方案集成商、企业及个人开发者等群体,提供安全、开放的共享及交易环境,有效连接 AI 开发生态链各参与方,加速 AI 产品的开发与落地。

随着社会的发展,科技的进步,5G 落地、AI 爆发、大数据持续突破、云计算已然成为新时代的水电煤。日益增多的新兴技术,为开发者带来机遇的同时也带来了不少挑战。尽管开发者们经常身处历史性事件的前沿,但由于很多技术学习门槛较高,且没有相对完整的配套技术生态,开发者们其实很难时刻保持良好的学习曲线。

此次华为云 ModelArts 将训练时间缩短至4分8秒,比3个月前榜单公布的纪录足足快了一倍。而此前几次 DAWNBench 图像识别训练的最佳纪录也均由华为云 ModelArts 创造。

具体来看,华为云 AI 市场主要包括 AI 模型市场、API 市场、WIKI 数据集、竞赛 Hub 和案例 Hub 等模块。其中,华为云 AI 模型市场是国内第一个提供发布及订阅 AI 模型服务的平台。

在简化开发、降低技术门槛、提高研发效率等方面,华为每年投入大量的资金和人力,而小编将为大家介绍的这十大硬核技术,正是华为加速技术发展、构建产业生态的助燃剂。小编看来,作为开发者,了解学习到这十大技术,不仅可以了解技术产业前沿趋势,也是为未来职业生涯发展打基础。

大洋彼岸的喜讯刚刚公布,仅隔一日,榕城福州又为AI开发者们带来新的好消息。在华为中国生态伙伴大会上,华为云 AI 市场正式发布。这个在华为云 ModelArts 平台基础上构建的开发者生态社区,为高校、企业及个人开发者等群体提供安全开放、公平可靠的 AI 模型、API、数据集以及竞赛案例等内容共享和交易。

图片 1

Top 1 达芬奇架构

那么,势头强劲的华为云 ModelArts 究竟有何超能力?它如何在高手如云的基准测试中,仅用短短3个月便打破自己的纪录?它又分别对训练和推理做了哪些优化,从而实现如此出色的性能?新发布的AI市场又为 AI 开发者们带来了哪些便利?本文将一一揭晓华为云 ModelArts 的技术硬实力究竟强在哪儿。

华为云 AI 市场正式发布

毋庸置疑,AI 技术正成为各行业数字化转型的发动机,大到智慧城市,小到 IoT 等,都少不了 AI 的身影。那么多的应用场景,如何才能实现 AI 在多平台、多场景之间的协同?

图片 2

▶ AI 模型市场的主要功能是发布及订阅 AI 模型。卖方用户可以在 AI 模型市场认证自己的账号并进行信用经营;可以为自己的模型指定不同的发布权限以及计费策略,可以为其添加画像属性,方便买家用户快速定位目标;还可以为发布的模型配置推理/再训练代码,以支持模型的推理/再训练功能。买方用户可以在 AI 模型市场订阅感兴趣的模型,用于再训练或部署成推理服务。

华为用达芬奇架构给出了答案。作为华为自研的面向 AI 计算特征的全新计算架构,达芬奇架构具备高算力、高能效、灵活可裁剪的特性。

图片 3

同时,AI 模型市场中预置各种常用 AI 模型,例如 ResNet50、YoloV3 等,并支持可再训练模型的提交发布,方便用户在自己业务数据上优化微调。

具体说来,达芬奇架构采用 3D Cube 针对矩阵运算做加速,大幅提升了单位功耗下的 AI 算力,同时还集成了向量、标量、硬件加速器等多种计算单元,辅以最小的计算代价增加矩阵乘的算力,来提升 AI 计算的完备性和不同场景的 AI 能效。

捧走训练推理双料冠军,比此前最高训练纪录快1倍

AI 模型市场通过市场中间人机制以及 ModelArts 平台,保证买卖双方模型与数据的安全。

而灵活可裁剪的特性则让达芬奇架构能够满足端侧、边缘侧及云端的应用场景,可用于小到几十毫瓦,大到几百瓦的训练场景,解锁 AI 的无限可能。

斯坦福 DAWNBench 榜单是用以衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,相应的排行榜反映了当前业界深度学习平台技术的领先性。

▶ API 市场的主要功能是发布与订阅 API 服务。卖方用户部署自己的服务发布到 API 市场,供其他用户订阅,并可为自己的商品指定不同的计费策略例如按次、包年、包月等。

以华为昇腾芯片为例,昇腾系列芯片就采用了统一的、可扩展的达芬奇架构,是全球第一个覆盖全场景的人工智能芯片系列,无论在低功耗的边缘场景,还是大算力的数据中心场景,昇腾系列都将提供出色的性能和能效比。

该榜单最新的图像识别排行榜显示,在训练性能方面,华为云 ModelArts 用128块 V100 GPU,在 ResNet50_on_ImageNet上训练模型,训练时间仅为4分08秒,较其2018年12月创下的9分22秒纪录快了1倍,比此前 fast.ai 在 AWS 平台上的训练速度快4倍。

▶ 此外,为了供开发者更好地进行学习交流实践,华为云 AI 市场还提供 WIKI 数据集、竞赛 Hub 以及案例 Hub,让开发者、企业和高校等用户可以一起维护分享数据集、参加竞赛学习交流,共同营造开放的生态社区。

此前,华为推出的目前算力最强 AI 处理器昇腾 910 就可应用于自动驾驶、平安城市、智能制造、运营商、金融等应用场景。不仅如此,华为还基于达芬奇架构提供了高性能的人工智能计算平台 Atlas。通过 Atlas 200 DK AI 开发者套件,开发者可以在 30 分钟内完成开发环境搭建,内置的图形化编程环境,将极大地提升开发效率。并且,得益于昇腾芯片的全栈全场景能力,基于开发者套件开发的程序只需一次开发,即可实现端、边、云全场景部署。

图片 4

在发布现场,华为云数字建筑合作伙伴广联达科技股份有限公司副总裁王鹏翊表示:“广联达作为国内领先的数字建筑平台服务商,希望通过云、物联网、AI 等新技术,帮助施工现场作业的现代化,使建筑施工更加安全、环保、高效。我们希望通过华为云、AI 市场,加速行业场景的应用速度,及时响应市场需求,把握住商业机会。”例如,广联达通过人工智能对作业人员进行人脸识别,通过视觉技术判定工人是否佩戴安全帽,以及基于业务场景的模拟应用、无人机+图像建模技术、智能盘点-钢筋数量识别等。

依托采用达芬奇架构的华为昇腾系列 AI 芯片提供的超强算力和全场景需求覆盖,Atlas 已实现算力、边界两大突破。可以说,达芬奇架构满足了人工智能领域对高算力和低功耗的需求,是专为人工智能算力需求而设计的芯片架构。

斯坦福大学 DAWNBench 训练时间榜单

图片 5

Top 2 A-Tune 智能调优技术

在推理性能方面,华为云 ModelArts 识别图片的速度是第二名的1.72倍、亚马逊的4倍、谷歌的9.1倍。

斯坦福大学 DAWNBench 推理性能榜单

对开发者来说,要想软件获得更好的体验,手动调优是个必不可少的过程。不过现在计算机硬件结构越来越复杂,丰富多样的应用对资源的需求也各不相同,这也导致调优过程异常复杂。

图片 6

华为云 ModelArts 一站式 AI 开发平台支持海量数据预处理、大规模分布式训练、自动化模型生成,并具备端-边-云模型按需部署能力,可帮助用户快速创建和部署模型、管理全周期 AI 工作流。3 月 20 日,斯坦福大学发布最新的 DAWNBench 榜单,华为云 ModelArts 获得图像识别总训练时间及推理性能榜单双料冠军,体现了其在全球深度学习平台技术的领先性。在训练性能方面,ResNet50_on_ImageNet 上的测试结果显示,当采用 128 块 V100时,华为云 ModelArts 上模型训练时间仅需 4 分 08 秒,较其 2018 年 12 月创下的 9 分 22 秒纪录快了一倍,比此前 fast.ai 在 AWS 平台上的训练速度快 4 倍;在推理性能方面,华为云 ModelArts 识别图片的速度是第二名厂商的 1.72 倍,亚马逊的 4 倍,谷歌的 9.1 倍。由于 AI 模型训练需要大规模 GPU 的弹性扩展,推理需要极低的时延,使得公有云成为 AI 模型训练和推理的必备选择。华为云 ModelArts 的极致性能将为 AI 开发者和客户提供业界最佳的平台。

为了减少开发者在软件调优上消耗的时间,华为 A-Tune 智能调优技术,可以在程序运行中实时感知应用的运行特征,使系统主动调整底层资源;还可以通过学习引擎对特征进行建模,根据业务负载去匹配最佳资源模型,通过负反馈持续优化。

斯坦福大学 DAWNBench 推理性能榜单

图片 7

简而言之,A-Tune 技术相当于在现有系统上加装了大脑,让系统“懂”业务场景,给出最合适的资源模型,使得系统运行更加智能,达到应用性能加速的目的。

华为云 ModelArts 是如何做到在国际权威深度学习模型基准平台上表现出色,并在短短3个月的时间打破自己创造的纪录?

斯坦福大学 DAWNBench 训练时间榜单

由于不必考虑硬件和系统的底层细节,即使是入门开发者,也能达到调优效果,高阶开发者更可针对具体的业务场景进行定制,实现更细粒度的调优。通过将应用 系统性能做到最优,A-Tune 技术可以从总体上降低成本。比如,以前你可能需要购买 10 台服务器才能完成的工作,现在可能需要 7-8 台服务器就能实现。

这就要归功于 ModelArts 团队从训练和推理两大部分着手,包括高性能分布式模型训练和极速推理技术在内的一系列优化。

目前,华为云 ModelArts 已经逐步在医疗、智能制造、自动驾驶、智慧城市、建筑、安防、园区、水利等人工智能场景大规模应用,帮助金域医学、广联达、云庐科技等行业企业进行 AI 开发应用落地。

目前,应用了 A-Tune 技术的华为服务器操作系统,其内核源于 Linux,支持华为 Kunpeng 及其它多种处理器,能够充分释放计算芯片的潜能,具有高效、稳定、安全特点,适用于数据库、大数据、云计算、人工智能等应用场景。

图片 8

Top 3 S2S 自动微分

优化训练的三大维度:网络结构、框架和算法

第三个技术我们来说说自动微分。

在训练方面,华为云 ModelArts 团队主要从深度神经网络结构、分布式训练框架、深度学习训练算法三个维度展开优化。

资深的深度学习开发者应该都体会过手动求解的痛苦,不仅求导过程复杂,结果还很容易出错,好在现在有深度学习框架,可以利用自动微分技术轻松解决这个复杂又关键的过程。

1、深度神经网络结构优化

我们都知道,深度学习框架的自动微分根据实现原理的不同,分为以 Google 的 TensorFlow 为代表的图方法,以 Facebook 的 PyTorch 为代表的运算符重载,以及以华为自研的 MindSpore 为代表的源码转化方法(Source To Source,S2S)。

本次使用的网络结构是基于经典的 ResNet50 结构。由于在训练中使用了 128*128 的低分辨率输入图片来提升训练的速度,对训练精度产生了一定影响,原始模型无法在维持训练 epoch 数的情况下将模型训练到指定的 top5 93% 精度。

前不久,华为刚发布了自研的全场景 AI 计算框架 MindSpore,而在 MindSpore 中的自动微分就采用了 S2S 形式。在性能和可编程性上,S2S 自动微分显著优于业界图和运算符重载方式,开发者无需重新学习一套新的表达逻辑(图逻辑),用原生 Python 就能实现 AI 算法。

为此,ModelArts 团队对 ResNet50 中的卷积结构进行了优化,从而在低分辨率训练模式下也能够稳定达到目标精度。

同时,S2S 自动微分能够实现任意算子的微分表达和编译优化,同时实现反向算子自动生成,极大地方便模型开发,为开发者的代码带来更佳性能。在软件硬件协同方面,支持自动优化,无需像其他两种方式需要手动定制。

本文由百乐门发布于互联网科技,转载请注明出处:One plus云公布国内第四个 AI 模型集镇,加快集团 AI 应用名落孙山

关键词: