周三，[db:标签]��坦[db:标签]��大学发布了最新的DAWNBench列表，这是人工智能领域最权威的比赛之一。华为Cloud ModelArts一站式AI开发平台，获得图像识别总训练时间和推理性能榜单。

Huawei Cloud ModelArts将培训时间减少到4分8秒，是三个月前发布的记录的两倍。华为Cloud ModelArts创建了之前几次DAWNBench图像识别培训的最佳记录。

海洋另一端的好消息刚刚宣布。仅仅一天后，福城福州为AI开发人员带来了新的好消息。在华为中国生态合作伙伴大会上，华为云AI市场正式发布。这个基于华为Cloud ModelArts平台的开发商生态社区为大学，企业和个人开发商提供安全，开放，公平和可靠的AI模型，API，数据集和竞争案例。

那么，强大的Huawei ModelArts的超级力量是什么？如何在短短三个月内打破主要基准的记录？为了达到如此出色的表现，培训和推理进行了哪些优化？新发布的AI市场为AI开发人员带来了什么便利？本文将揭示华为的云模型艺术的技术实力雄厚。

捧走训练推理双料冠军，比此前最高训练纪录快1倍

Stanford DAWNBench列表是用于衡量端到端深度学习模型训练和推理性能的国际权威基准测试平台。相应的排名反映了当前行业。深度学习平台技术的领先优势。

列表中最新的图像识别排名显示，在训练性能方面，华为Cloud ModelArts使用128个V100 GPU在ResNet50_on_ImageNet上训练模型（准确度为93％），训练时间仅为4点。在08秒中，它是2018年12月记录的9分钟22秒的两倍，比之前在AWS平台上的fast.ai培训快四倍。

▲斯坦福大学DAWNBench培训时间表

在推理性能方面，华为Cloud ModelArts识别图像的速度是第二名的1.72倍，亚马逊的4倍，和GoOGle 9.1。时间。

▲斯坦福大学DAWNBench推理性能列表

华为Cloud ModelArts如何在短短3个月内在国际权威的深度学习模型基准测试平台上表现良好打破您自己创造的记录？

这是由于ModelArts团队从培训和推理的两个主要部分开始，其中包括一系列优化，包括高性能分布式模型培训和基于速度的推理。

优化训练的三大维度：网络结构、框架和算法

在培训方面，华为Cloud ModelArts团队主要从深度神经网络结构，分布式培训框架和深度学习培训算法三个方面进行了优化。

1。深度神经网络结构优化

这次使用的网络结构基于经典的ResNet50结构。 由于在训练中使用128 * 128低分辨率输入图像来提高训练速度，因此会影响训练精度。原始模型无法在维持训练时期数的情况下将模型训练到指定的top5 93％的准确性。

为此，ModelArts团队优化了ResNet50中的卷积结构，以在低分辨率训练模式下实现稳定的目标精度。

2。分布式训练框架优化

深度学习训练过程涉及大规模参数的网络间通信。 TensorFlow使用集中式网络参数服务器（Parameter Server）进行梯度的收集，平均和分配。对服务器节点的访问成为瓶颈，带宽利用率低。为此，ModelArts团队使用AllReduce算法进行梯度聚合以优化带宽。

同时，合并传输的坡度，并合并小于阈值大小的坡度并发送一次，以提高带宽利用率。此外，NVIDIA的NvLink，P2P和其他技术用于改善节点内，并且节点之间的通信带宽减少了通信延迟。

3，深度学习训练算法优化

此训练过程中使用的分布式全局批处理大小为32768，如此大的批处理大小提高了训练的并行性。但是，这也引起收敛精度降低的问题。为此，ModelArts团队实施了《Large Batch Training of Convolutional Networks》中提出的分层自适应速率缩放（LARS）算法。在全局学习速率调度中，使用了带预热的线性余弦衰减调度器，而训练优化器使用了动量算法。

在此训练结果中，ModelArts仅使用了35个时期来将模型训练到指定的精度，并在整个过程中将最后一个时期除外的批次批量保持为32K。 4分08秒，比以前的成绩再次翻了一番。

优化推理的三大维度：网络结构、量化与剪枝

在推理方面，ModelArts团队从三个方面进行了优化：1.网络结构优化2. Int8量化3.神经网络卷积通道修剪。

1。网络结构优化

ResNet50模型也用于推理，它是具有更高推理效率的ResNet50-v1版本。在该模型的基础上，进行了下采样，并采用了信息损失较小的下采样方法，不仅提高了推理速度，而且获得了较高的模型精度。

2，Int8量化

低位量化是提高推理性能的主要手段。 int8量化方法通用性强，模型精度损失小。在量化过程中，首先加载原始模型，然后为原始模型创建相应的int8量化模型，然后提取训练中的典型样本以校准量化模型，最后生成优化的int8模型。校准结果。

在这种量化中，模型的推理精度仅损失了0.15％，模型的推理速度提高了2倍以上。

3。神经网络卷积信道修剪

研究表明，网络中的许多连接接近于零或冗余，并且消除这些参数对精度的影响相对较小。模型修剪方法包括结构修剪和非结构修剪。 当权重低于此阈值且不再更新时，非结构化修剪会将阈值设置为0。

此方法使模型连接稀疏，但是由于这些连接分散在各个权重之间，并且由于GPU不支持稀疏矩阵卷积和乘法加速，因此无法有效地提高推理速度。

结构化修剪的主要方法是卷积通道修剪，即通过某些方法评估神经网络中每个卷积核的影响系数，然后对卷积系数进行卷积。整体上删除了核心，从而使整个模型更小且推理速度提高了。

正式发布国内首个AI模型市场

值得一提的是，在华为中国生态合作伙伴大会上，华为将“平台+生态”战略发展为“平台+ AI +生态”。为合作伙伴提供“工业+ AI”支持。

华为副总裁兼云事业部总裁郑业来也正式启动了华为云AI市场，并宣布了特殊奖励措施的投资，以帮助开发人员和合作伙伴加速企业在AI中的AI应用。市场。

如上所述，华为的云AI市场主要包括AI模型市场，API市场，WIKI数据集，竞争中心和案例中心等模块资源。用户可以自由选择感兴趣的资源进行交易。

从大学研究机构，AI应用程序开发人员，解决方案集成商，企业到个人开发人员，AI开发生态系统中的所有参与者都被有效地联系在一起，AI市场不仅帮助他们加速了AI产品开发。并登陆，并确保共享和交易环境安全开放。

我们将专注于华为云AI市场中的AI模型市场，这是中国第一个提供发布和订阅AI模型服务的平台。 AI模型市场的主要功能是发布和订阅AI模型，通过市场中间人机制和ModelArts平台确保买卖双方模型和数据安全。

卖方用户可以在证明自己的帐户后执行信用管理。您可以将自己的模型上载到市场，并为模型指定不同的发布权和收费政策，例如按次付费，按年订阅和按月订阅。买方用户可以通过自己的AI推理在AI模型市场中找到并订阅感兴趣的模型。

卖方用户还可以查看其模型肖像属性，以便买方用户可以更快地定位自己。此外，人工智能模型市场支持已发布模型的推理/再训练代码的配置，购买者可以使用这些代码来再训练或部署到推理服务中。

之前，Zhizhi曾在文章中介绍过华为Cloud ModelArts平台的四个亮点和操作流程（神奇！从零开始的会议记录以及AI，华为Cloud ModelArts的完整体验）。 ModelArts具有开源数据集，自动调整，MoXing分布式框架和数千级GPU集群规模的培训加速，云端一键式部署以及其他功能。由于零编程经验，该平台的门槛非常低。 White对于高级算法工程师来说，可以使用该平台更快更好地完成AI模型的训练和推理。

▲华为Cloud ModelArts开发者生态展览区

华为Cloud ModelArts平台于今年1月30日正式启动，已涉足智能医疗，智能制造，自动驾驶，智能在城市中，智能安全和水利等AI场景的大规模应用可帮助各行各业的企业和开发人员实现AI的开发和应用，并及时响应市场需求。

结语：云计算AI大战持续升温，应用落地仍是王道

当前，包含AI的云计算仍然是一个蓝海市场。互联网巨头，传统的ICT公司，传统的企业服务提供商和新兴企业正在涌入这个市场。老玩家建立牢固，新玩家加速发展，云计算市场的竞争日益激烈。

华为云的ModelArts平台可以说是华为“让复杂性留给自己，让客户和合作伙伴保持简单性”概念的直接示例，直到数据集的基本模块，AI模型等等。多合一的过程使公司和开发人员只需单击鼠标即可完成高质量的AI开发。

从华为Cloud ModelArts平台中，我们可以优化云计算服务提供商的关键词——，以建立更强大，更全面，更易于使用和更可靠的AI服务竞争壁垒。随着人工智能技术在各行各业的逐步应用，泡沫逐渐消失，真正为企业提供最佳服务，帮助企业实现业务实现。只有这样，我们才能建立更强大的生态系统，并将AI应用推向高潮。