文档名：基于迁移强化学习的无线传感器网络快速抗干扰方案
摘要：在动态干扰环境下的多节点无线传感器网络中,随着状态-动作空间的增大,传统强化学习难以收敛.为克服这一问题,本文提出一种基于迁移强化学习的快速抗干扰算法,即将多智能体Q学习和值函数迁移方法相结合.首先,将多节点通信抗干扰问题建模为马尔科夫博弈;然后,引入互模拟关系度量不同状态-动作对之间的相似性;最后,采用多智能体Q学习算法学习抗干扰策略,并在每一步Q值更新后,根据不同状态-动作对之间的相似性进行值函数迁移.仿真结果表明,在分时隙传输的在线抗干扰问题中,所提算法的抗干扰性能显著优于正交跳频法和随机跳频法,在达到相同抗干扰效果时,所需的迭代次数远少于常规Q学习算法.
Abstract：Inamulti-nodewirelesssensornetworkunderdynamicjammingenvironment,traditionalreinforcementlearningisdifficulttoconvergewiththeincreaseofstate-actionspace.Toovercomethisdisadvantage,inthispaper,weproposeafastconvergenceanti-jammingalgorithmbasedonreinforcementlearning.Theproposedalgorithmcombinesmulti-agentQ-learningwithvaluefunctiontransfer.Firstly,themultinodecommunicationanti-jammingproblemismodeledasaMarkovgame.Then,weintroduceBisimulationRelationtomeasurethesimilaritybetweendifferentstateactionpairs.Finally,themulti-agentQlearningalgorithmisusedtolearntheanti-jammingstrategy,andaftereachstepofQ-valueupdating,thevaluefunctionistransferredaccordingtothesimilaritybetweendifferentstate-actionpairs.Thesimulationresultsshowthattheanti-jammingperformanceoftheproposedalgorithmissignificantlybetterthanthatoftheorthogonalfrequencyhoppingandtherandomfrequencyhopping.Whenthesameanti-jammingeffectisachieved,thenumberofiterationsrequiredismuchlessthanthatofthetraditionalQ-learningalgorithm.
作者：周权 牛英滔 Author：ZHOUQuan NIUYingtao
作者单位：陆军工程大学通信工程学院,南京210000国防科技大学第六十三研究所,南京210000
刊名：电波科学学报 ISTICPKU
Journal：ChineseJournalofRadioScience
年，卷(期)：2023, 38(5)
分类号：TN973.3
关键词：无线通信 抗干扰通信 迁移学习 无线传感器网络(WSN) 多智能体强化学习
Keywords：wirelesscommunication anti-jammingcommunication transferlearning wirelesssensornetwork multi-Agentreinforcementlearning
机标分类号：E919TN929.3TP18
在线出版日期：2024年1月4日
基金项目：国家自然科学基金，基础加强计划基于迁移强化学习的无线传感器网络快速抗干扰方案[
期刊论文] 电波科学学报--2023, 38(5)周权 牛英滔在动态干扰环境下的多节点无线传感器网络中,随着状态-动作空间的增大,传统强化学习难以收敛.为克服这一问题,本文提出一种基于迁移强化学习的快速抗干扰算法,即将多智能体Q学习和值函数迁移方法相结合.首先,将多节点通...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于迁移强化学习的无线传感器网络快速抗干扰方案 Fast convergence anti-jamming scheme for WSNs based on transfer reinforcement learning
基于迁移强化学习的无线传感器网络快速抗干扰方案.pdf
- 文件大小:
- 17.87 MB
- 下载次数:
- 60
-
高速下载
|
|
