您现在的位置:中国传动网  >  新闻首页  >  技术前沿  >  算法演进如何助力高能效的人工智能

算法演进如何助力高能效的人工智能

2018年10月10日 13:45:08 中国传动网

【中国传动网 技术前沿】 QualcommTechnologies正凭借其规模化的技术发明致力于让数万亿终端支持人工智能(AI),这将不仅丰富我们的生活,同时也将变革诸多行业。对于运行在联网终端上的AI,它的处理能效需要不断提升。高能效是QualcommAIResearch的核心研究领域之一。本篇博客将通过举例说明Qualcomm在高能效AI算法方面的最新研究,以及它如何与高能效的硬件设计相辅相成。

每焦耳提供多少智能将成为AI的评估基准

深度神经网络(DNN)的爆发式增长正在推动AI的发展。在深度神经网络的能耗以指数级增长的同时,其预测的准确性也相应提升,尽管这一提升十分微小但却至关重要。根据目前的发展趋势,预计在2025年,神经网络有望将其规模扩大至100万亿个权重参数(图1),这一数据与人类大脑中突触的数量接近。大脑的能效比目前的数字硬件高100倍,因此它也赋予我们不断提升的希望和动力。

值得关注的是,很快,AI处理的基准测试将会有所改变,AI算法将以每焦耳可以提供多少智能作为衡量指标。两个主要原因如下:

o一方面,广泛的经济可行性需要高能效AI,这是因为AI所创造的价值必须高于运行该服务的成本。更直观的说,对于应用AI的每项交易,它的经济效益可能要求成本低至1微美元(即一美分的万分之一),比如利用AI实现个性化广告和推荐。

o另一方面,将终端侧AI处理运行在精致、超薄的移动终端上也要求高能效。一个让消费者广泛采用AI的场景是,在功耗和散热能力有限且要求全天续航的终端设计中,处理始终在线的计算密集型工作负载。此外,一些其他类型的终端也要求同样的能效特性,例如自动驾驶汽车、无人机和机器人。

更深入地研究深度神经网络

主要由卷积神经网络(CNN)组成的深度神经网络(DNN)正在驱动时下的AI变革。接下来我们将从优点和缺点两方面来介绍CNN。只有从基本角度了解它的缺点才能帮助我们改进CNN。

在优点方面,CNN可以借助最新研究成果来提取可学习特征、支持编码位置的不变性(例如上图中的狗,无论它位于图片中哪个位置,都可以被归类)、通过共享参数让“数据高效”,以及在现代硬件上快速执行及并行处理。在缺点和需要改进的方面,CNN最显著的问题是消耗了太多内存、计算能力和能源。它不能对额外的对称性进行编码,例如旋转不变性(如果我们把图2中的狗上下颠倒,它将不能辨认);它也不能可靠地量化预测的置信度,并且易于被输入侧的轻微改变所欺骗,如对抗样本。我们正在研究各种技术以应对这些挑战,贝叶斯深度学习就是一项非常有前景的技术成果。

噪声对AI来说可以是好事

贝叶斯深度学习是随机的,这意味着在向神经网络的权重增加噪声或随机值的时候,它还会将噪声传播到激活节点。这些噪声可以是好事,并且受到了人类大脑工作方式的启发。贝叶斯深度学习的一个关键优势是通过压缩和量化来降低神经网络模型的复杂度。量化可以减少参数的位宽(例如使用四位而非八位),而压缩则可裁剪模型中的激活节点数量,最终提升能效。如果想了解更多细节也可以观看网络研讨会中更详细的解读。

贝叶斯深度学习不仅仅是一种理论——在研究中,我们已经将其应用在实际用例中。举个例子,在一系列被标记图像的基准数据点上,我们测量了ResNet-18的规模和精确度。ResNet-18是一种用于图像分类的神经网络,且已针对规模而优化。然后,我们比较了先进裁剪方式和贝叶斯裁剪方式的精确度和压缩比。结果显示,贝叶斯裁剪裁的效果最好,其压缩比为基准数据的3倍,同时保持了基本相似的精确度。

AI的整体能效

未来,AI硬件将会如何发展?高效硬件的关键在于,它是从系统层面深入地理解真正的AI工作负载——换言之,真实环境中的应用如何运行在真正的终端上。Qualcomm致力于通过硬件、算法和软件来实现这一点。

供稿:网络

本文链接:http://www.chuandong.com/news/news.aspx?id=221098

中国传动网

官方微信

扫一扫,信息随手掌控

运动与控制

官方微信

扫一扫,运动与控制信息随手掌控

相关新闻

联系我们

广告联系:0755-82048561
展会合作:0755-83736589
杂志投稿:0755-82048562

网站简介|会员服务|联系方式|帮助信息|版权信息|网站地图|友情链接|法律支持|意见反馈

版权所有 2006-2016 中国传动网(ChuanDong.com)

  • 经营许可证
    粤B2-20150019

  • 粤ICP备
    14004826号

  • 不良信息
    举报中心

  • 网络110
    报警服务

网站客服热线

0755-82949541

QQ客服

2737591964