文档名：基于近似牛顿法的分布式卷积神经网络训练
大多数机器学习问题可以最终归结为最优化问题(模型学习).它主要运用数学方法研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用.随着深度网络的快速发展,数据和参数规模也日益增长.尽管近些年来GPU硬件、网络架构和训练方法均取得了重大的进步,但单一计算机仍然很难在大型数据集上高效训练深度网络模型,分布式近似牛顿法作为解决这一问题的有效方法之一被引入到分布式神经网络的研究中.分布式近似牛顿类方法将总体样本平均分布至多台计算机,减少了每台计算机所需处理的数据量,计算机之间互相通信共同协作完成训练任务.文中提出了基于近似牛顿法的分布式深度学习,在相同的网络中利用DANE算法训练,随着GPU数目增加,训练时间明显缩短.这与我们的最终目的一致,即在保证估计精度的前提下,利用现有分布式框架实现近似牛顿类算法,用算法分布式训练神经网络,提升运行效率.
作者：王雅慧 刘博 袁晓彤
作者单位：南京信息工程大学信息与控制学院,南京210044;江苏省大数据分析技术重点实验室,南京210044罗格斯大学计算机科学学院,新泽西州美国
母体文献：第六届中国计算机学会大数据学术会议论文集
会议名称：第六届中国计算机学会大数据学术会议
会议时间：2018年10月11日
会议地点：西安
主办单位：中国计算机学会
语种：chi
分类号：TP3TN7
关键词：卷积神经网络 近似牛顿类法 深度学习
在线出版日期：2020年11月30日
基金项目：
相似文献
相关博文
- 文件大小:
- 850.26 KB
- 下载次数:
- 60
-
高速下载
|
|
