文档名：基于深度强化学习DDDQN的高速列车智能调度调整方法
摘要：在高速铁路系统的日常运营中,列车经常受到各种突发事件的干扰而导致晚点,严重影响旅客出行体验.为在短时间内制定出列车运行调整方案并尽可能缩短列车晚点时间,提出一种将深度强化学习与整数规划模型相结合的列车智能调度调整方法(DDDQN).首先,将线路划分为多个轨道区段相连接的形式,并基于车间作业调度问题,以最小化所有列车总晚点时间为目标,构建描述列车运行过程的整数规划模型.之后,将各列车视为智能体,根据实际运营需求定义了多智能体的状态、动作以及回报函数,并构造了2个深度神经网络以近似值函数.最后,结合上述整数规划模型设计了DDDQN的训练方法,先利用智能体在仿真环境中探索求出问题可行解,并通过2个神经网络之间的"互馈"机制,实现神经网络参数的更新.在此基础上求解整数规划模型,即可在短时间内得到问题最优解.利用京张高铁实际线路数据和运营数据进行仿真实验,通过比较3种不同求解方法在10个不同突发事件场景下得到的列车总晚点时间和求解时间,验证了所提出的DDDQN模型可以在短时间内得到问题的最优解,可降低至多30.43%的列车晚点时间以及至多68.33%的求解时间.DDDQN为提升高速铁路系统在突发事件下的应急处置能力以及运输组织效率提供了一种智能化的方法与参考.
Abstract：Inthedailyoperationofthehigh-speedrailwaysystem,trainsareoftendisturbedbyvariousemergenciesleadingtodelays,whichseriouslyaffectspassengers'travelexperience.Inordertoworkouttrainreschedulingschemeinashorttimeandreducetraindelaytimeasmuchaspossible,atrainreschedulingoptimizationmethodDDDQNcombiningdeepreinforcementlearningandanprogrammingmodelwasproposed.First,thetrackwasdividedintomultiplesectionsconnected.Anintegerprogrammingmodelwasconstructedtodescribethetrainoperationprocesstominimizethetotaldelaytimeofalltrainsbasedonthejob-shopschedulingproblem.Then,eachtrainwasregardedasanagent,andthestate,actionandrewardfunctionsofmultipleagentsweredefinedaccordingtotheactualoperationrequirements.Twodeepneuralnetworkswereconstructedtoapproximatethefunctions.Finally,combinedwiththeaboveintegerprogrammingmodel,thetrainingmethodofDDDQNwasdesigned.Inthismodel,thefeasiblesolutiontotheproblemwasexploredbytheagentinthesimulationenvironment,andtheparametersoftheneuralnetworkwereupdatedbythe"mutualfeed"mechanismbetweenthetwoneuralnetworks.Onthisbasis,theoptimalsolutiontotheproblemcanbeobtainedinashorttimebysolvingtheintegerprogrammingmodel.TheactualtrackdataandoperationdataoftheBeijing-Zhangjiakouhigh-speedrailwaywereusedforsimulationexperiments,andthetotaltraindelaytimeandsolutiontimeobtainedbythreedifferentsolutionmethodsunder10differentemergencyscenarioswerecompared,whichverifiedthattheproposedDDDQNmodelcouldobtaintheoptimalsolutionoftheprobleminashorttime.DDDQNcanreducetraindelaytimebyupto30.43%andsolutiontimebyupto68.33%.DDDQNprovidesanintelligentmethodandreferenceforimprovingtheemergencyhandlingabilityandtransportationorganizationefficiencyofhigh-speedrailwaysystemsunderemergencies.
作者：吴卫 阴佳腾 陈照森 唐涛 Author：WUWei YINJiateng CHENZhaosen TANGTao
作者单位：北京和利时系统工程有限公司,北京100176北京交通大学轨道交通控制与安全国家重点实验室,北京100044
刊名：铁道科学与工程学报 ISTICPKU
Journal：JournalofRailwayScienceandEngineering
年，卷(期)：2024, 21(4)
分类号：U292.4
关键词：列车智能调度调整 列车晚点时间 深度强化学习 整数规划模型 神经网络
Keywords：intelligenttrainrescheduling traindelaytime deepreinforcementlearning integerprogramming neuralnetwork
机标分类号：U292.914TP311U451.3
在线出版日期：2024年5月17日
基金项目：国家自然科学基金，国家自然科学基金，先进轨道交通自主运行全国重点实验室项目基于深度强化学习DDDQN的高速列车智能调度调整方法[
期刊论文] 铁道科学与工程学报--2024, 21(4)吴卫 阴佳腾 陈照森 唐涛在高速铁路系统的日常运营中,列车经常受到各种突发事件的干扰而导致晚点,严重影响旅客出行体验.为在短时间内制定出列车运行调整方案并尽可能缩短列车晚点时间,提出一种将深度强化学习与整数规划模型相结合的列车智能调...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于深度强化学习DDDQN的高速列车智能调度调整方法 Intelligent rescheduling optimization method of high-speed railway based on deep reinforcement learning DDDQN
基于深度强化学习DDDQN的高速列车智能调度调整方法.pdf
- 文件大小:
- 3.42 MB
- 下载次数:
- 60
-
高速下载
|
