基于AdaGrad自适应DA方法的最优个体收敛速率

文档名：基于AdaGrad自适应DA方法的最优个体收敛速率
摘要：针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法.将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果.数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/t)的最优个体收敛速率,为其提供了理论支撑.

作者：张旭  韦洪旭Author：ZhangXu  WeiHongxu
作者单位：中国人民解放军陆军炮兵防空兵学院信息工程系,合肥230031
刊名：兵工自动化 ISTIC
Journal：OrdnanceIndustryAutomation
年，卷(期)：2023, 42(11)
分类号：TP273
关键词：优化算法  梯度下降  对偶平均方法  AdaGrad  自适应矩阵  
Keywords：optimizationalgorithm  gradientdescent  dualaveragemethod  AdaGrad  adaptivematrix  
机标分类号：TP391TP181O224
在线出版日期：2023年12月5日
基金项目：国家自然科学基金基于AdaGrad自适应DA方法的最优个体收敛速率[
期刊论文]  兵工自动化--2023, 42(11)张旭  韦洪旭针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法.将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文

        基于AdaGrad自适应DA方法的最优个体收敛速率  Optimal Individual Convergence Rate Based on AdaGrad Adaptive DA Method

基于AdaGrad自适应DA方法的最优个体收敛速率.pdf

2024-12-14 12:27 上传 基于AdaGrad自适应DA方法的最优个体收敛速率.pdf

文件大小:

1.01 MB

下载次数:

60

高速下载