1、尔可夫决策模型多用户多入多出正交频分多址比例公平调度服务质量资源块强化学习轮询调度信噪比时分多址技术时分同步码分多址宽带码分多址无线局域网络第章绪论第章绪论.移动通信发展移动通信通过几十年的发展，已经发生了巨大的变革。在过去，人类只能通过有线接入的固定电话进行信息的传输。现在，人们可以通过无线终端随时随地进行信息传输。到目前，无线移动通信已经完整经历了三代的发展，正在进入第四代发展历程和开始第五代的研究。移动通信的发展历程如下图无线移动通信发展历程第代移动通信技术，主要依靠模拟型号来传输通信信息。主要使用模拟信号和频分多址技术，是来实现移动无线通信。第代通信技术开创性实现了人类的无线通信。第二代移动通信技术，主要依靠数字信号传输通信信息。主要使用两种技术种是，时分多址技术，由该技术发展而成的，全球移动通信系统。另种是，码分多址技术。

2、或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印缩印或扫描等复制手段保存汇编学位论文。保密的学位论文在解密后应遵守此规定作者签名导师签名日期年月日摘要摘要随着社会的发展，人们对通信的需求也越来越大，同时人们对通信的要求也越来越高。智能终端的出现和普及，给无线通信系统带来了新的要求。为了满足人们日益增长的移动通信数据要求，新代移动通信技术通过使用载波聚合技术，来获取更大的频谱带宽。在获取更大的频谱带宽下，如何最大化利用频谱资源，是当前通信系统关注和急需解决的问题之。本文主要研究是在载波聚合下，引入两种强化学习算法，来提高通信系统的资源利用率。本文首先对载波聚合技术和强化学习背景进行了介绍，然后重点介绍了单智能实体强化学习的系统模型学习过程，和多。

3、区平均频谱效率.图各分配方式下小区不满意度.图各分配方式下小区平均未使用资源块个数.图单优化目标下与各分配方式下小区平均频谱效率图.图单优化目标下与各分配方式下小区总的吞吐量.图学习状态动作的转移图图强化学习四要素.图单小区模用户分布.图会话类业务效用.图流媒体类业务效用.图后台类业务效用.图小区用户分布图.图算法步骤图.图目录图长期累积效用值.图总业务阻断对比图.图会话类业务阻断对比图.图流媒体类业务阻断对比图.表目录表目录表调制与编码表表系统仿真参数说明.表各小区用户数变化情况.表满足不同用户的数据业务需求奖励值.表仿真参数表.略缩词表略缩词表第三代合作计划人工神经网络载波聚合技术分量载波码分多址技术协同多点传输动态频谱分配频分多址技术全球移动通信系统混合自动重传请求高级国际移动通信国际电信联盟联合队列调度长期演进高级长期演进。

4、分类号密级注学位论文载波聚合下基于强化学习的资源分配研究题名和副题名周鑫作者姓名指导教师史治平教授电子科技大学成都姓名职称单位名称申请学位级别硕士专业学位类别工程硕士工程领域名称电子与通信工程提交论文日期.论文答辩日期.学位授予单位和日期电子科技大学年月答辩委员会主席评阅人注注明国际十进分类法的类号。附独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名日期年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留使用学位论文的规定，有权保留并向国家有关部门。

5、进行资源块调度.梯度强化学习单个学习过程.多强化学习实体的学习过程.系统仿真模型介绍和仿真结果本章小结.第四章载波聚合下基于学习的资源调度目录.学习算法.马尔可夫决策.动态规划.蒙特卡罗方法.时序差分学习学习.基于学习的小区内资源调度.系统背景.系统模型和问题映射.算法描述.仿真结果本章小结第五章总结及展望.本文总结.下步工作致谢参考文献攻读硕士期间取得的研究成果个人简历图目录图目录图无线移动通信发展历程.图带内连续载波聚合.图带内非连续载波聚合.图带间载波聚合.图数据流聚合方式.图数据流聚合方式.图单智能强化的模型.图自动驾驶人工神经网络模型.图人工神经网络的简化模型.图表达输入输出图.图多边形模拟蜂窝网.图区群结构图不同的频率复用因子表示图.图复用样子与小区信道容量对应图.图多载波资源.图调度算法增益图小区编号.图各分配方式下。

6、第二代通信系统为用户提供高质量的语音通话服务，且实现了为用户提供无线移动数据传输的服务。第三代移动通信技术，为用户提供更稳定安全的语音通话和更高速的数据传输功能。第三代移动通信技术标准有，宽带码分多址和，时分同步码分多址技术。电子科技大学硕士学位论文第三代移动数据技术数据业务传输速度较快，很好的满足了用户无线上网的需求。第四代移动通信技术，采用和技术，实现更高速的数据流量功能。第三代移动通信技术实现在线加载高清图片，第四代移动通信技术则可实现在线播放高清视频。当前，人们对移动无线通信，已经不满足于单纯的语音通信，对无线数据传输提出了更高的需求。随着无线通信移动互联网手机应用的爆发增长，人们对移动通信的要求和依赖也越来越高。在此环境下超三代和的移动通信系统使用正交频分复用，技术为用户提供高速率，高带宽，高频谱利用率的数据业务传输。在。

7、能实体联合强化学习的模型，并对多智能实体强化学习的学习公式进行了推导，为下文的强化学习在载波聚合的资源分配做理论基础。本文提出了在载波聚合下，利用强化学习思想分别对小区间资源分配和小区内分配进行优化。对小区间资源分配优化，本文提出利用梯度强化学习算法，对各个小区间资源分配进行优化。梯度强化学习算法结合了当前各个小区的负载情况和载波上资源块特性，为每个小区选择合适的资源进行分配。通过仿真可知，相对其他传统的固定分配方式和动态分配方式，使用梯度强化学习算法的分配方式能更好充分利用资源块，提高频谱效率，降低用户不满意度，同时可以根据需要设定自身的奖励参数。对小区内资源分配优化，本文提出利用学习算法，对小区内的用户资源分配进行优化。本文利用学习算法学习业务到达的模型，根据用户的业务类型和用户相对的位置，结合载波资源块的特性，为不同的分配方。

8、错互动不断的迭代学习来使强化学习算法收敛，最终获得当前环境下最优的动作选项。研究现状目前，已有大量文献在研究载波聚合下的资源调度问题。文献研究的是载波之间的各个载波间的如何选择和载波间如何切换等问题。,等人在网络中提出使用效用比例公平为用户选择合适的载波和资源块，进行资源分配。等人在多用户情况下根据用户的容量和调制编码方式来进行载波资源块分配。等人提出最小化系统效用损失的方法来进行载波资源块的分配。当前也有大量文献在强化学习思想运用到通信领域中.等人提出用合作学习方法在小区内进行资源分配。等人提出利用学习在蜂窝网中为通信进行资源分配。等人提出用学习解决认知无线网络的中心信道和频率分配。现在，已有人们把强化学习思想引入到通信领域中，然而在新的载波资源分配中，尚未有全面成熟的研究。强化学习和频谱分配是近年来通信研究的个重点方向，通过强。

9、设定不同奖励值。当学习算法收敛，即可得出最优的小区内资源分配法。通过仿真可知，相比传统的贪婪算法，使用学习分配方法可以使小区内用户获得更高的效用值，同时减少小区内用户的业务阻断率，提升全局系统资源利用率。关键词梯度强化学习，学习，载波聚合，频谱分配.,.,.,.,.,.,目录目录第章绪论.移动通信发展论文研究背景载波聚合的概述.强化学习的概述.研究现状本文内容的结构安排第二章载波聚合和强化学习基础理论.载波聚合介绍.载波聚合的方式载波聚合的应用场景.强化学习介绍.单智能强化学习多智能联合协作强化学习.梯度强化学习理论基础.人工神经网络的模型梯度强化学习的反向传播梯度强化学习的梯度下降梯度强化学习的输出本章小节.第三章载波聚合下基于梯度强化学习的资源分配.频谱复用技术.频谱资源分配介绍静态频谱分配动态频谱分配.载波聚合下的使用强化学。

10、整个通信系统的效用值。.论文研究背景载波聚合的概述载波聚合技术是国际电信联盟，针对当前需要更大的无线资源带宽环境，提出的新代移动通信技术，中所用到的技术之。在，长期演进中，需支持的系统带宽，而后续演进的，指标要求需要支持的系统带宽。而在当前的通信带宽里，大部分带宽已经被分配给卫星通信等使用，使得使用段连续大小的频率带宽是件困难的事。为了第章绪论能获得的通信带宽，技术提出了载波聚合的概念。把分散的多个零散载波聚合到起，使用户可以使用段经过合并后为的通信带宽，从而实现高速率的通信。强化学习的概述强化学习，是人工智能的种学习方法，主要指智能实体通过试错的方式与环境的互动，并从环境反馈中获得执行动作的互动奖励值，根据评判系统来自身进行学习和优化。强化学习目标是为了让智能实体在执行动作之后，可以获得最大的动作奖励值。智能实体通过大量与环境的。

11、学习可以让多载波之间的资源分配技术登上个台阶。.本文内容的结构安排本文主要分为五个章节，各个章节具体如下第章简单的介绍了通信系统的发展历史载波聚合和强化学习相关知识，同时也介绍现在载波聚合下的研究现状和强化学习的研究现状。指出了强化学习运用在载波聚合下的应用前景。电子科技大学硕士学位论文第二章主要对载波聚合，强化学习的进行详细的描述。分别介绍了载波聚合的类型，梯度强化学习的基本概念，梯度强化学习算法的推导过程，为下文使用强化学习作理论铺垫。第三章里提出在载波聚合下，利用梯度强化学习算法在多个小区间进行智能学习和资源分配。固定分配方式的多个小区蜂窝网中，当用户需求不均衡时，重负载小区希望分配更多的资源，而轻负载小区可能存在资源过剩。文中提出梯度强化学习算法中，结合载波的特性，可以为各个小区动态地分配所小区需要的资源，实现资源最大化的。

12、长期演进中，通信系统最大支持通信带宽，在中，通信系统需支持通信带宽。为了保证获得等效的通信带宽，中引入了载波聚合等技术，通过使用载波聚合技术为用户提供足够的通信带宽。另外，通信系统还需解决频谱效率低，临近小区干扰大，小区边缘用户信噪比低，用户业务需求分布不均等问题，这些问题都阻碍通信系统进行高速数据业务传输。为了解决以上问题，在有限的频谱资源情况下，通信系统通过灵活的对频谱资源进行分配和调度，来提高系统的频谱效率和吞吐量，从而实现资源的最大化利用。如何进行频谱资源的分配和调度，已成为当前通信系统研究的重点，该问题关系到通信系统时候能否最大化利用当前的频谱资源，降低干扰，实现高速率业务传输。频谱资源的智能调度主要目的是保障用户获得足够的通信资源如保证最小传输速率，最大通信时延等，同时还得兼顾通信业务和用户的公平性，优先满足高业务，提。

参考资料：

[1]平面与平面平行的判定优选版PPT课件（精） 编号46（第13页，发表于2022-06-25）

[2]平面与平面平行的判定优选版PPT课件（精） 编号43（第13页，发表于2022-06-25）

[3]直线和平面平行的性质优选PPT课件（教学） 编号49（第15页，发表于2022-06-25）

[4]直线和平面平行的性质优选PPT课件（教学） 编号44（第15页，发表于2022-06-25）

[5]直线和平面平行的性质优选PPT课件（教学） 编号42（第15页，发表于2022-06-25）

[6]直线和平面平行的性质优选PPT课件（教学） 编号43（第15页，发表于2022-06-25）

[7]直线和平面平行的性质优选PPT课件（教学） 编号38（第15页，发表于2022-06-25）

[8]直线和平面平行的性质优选PPT课件（教学） 编号43（第15页，发表于2022-06-25）

[9]直线和平面平行的性质优选PPT课件（教学） 编号47（第15页，发表于2022-06-25）

[10]直线和平面平行的性质优选PPT课件（教学） 编号39（第15页，发表于2022-06-25）

[11]直线和平面平行的性质优选PPT课件（教学） 编号49（第15页，发表于2022-06-25）

[12]直线和平面平行的性质优选PPT课件（教学） 编号34（第15页，发表于2022-06-25）

[13]平面与平面之间的位置关系优质教学PPT（含内容） 编号43（第15页，发表于2022-06-25）

[14]平面与平面之间的位置关系优质教学PPT（含内容） 编号49（第15页，发表于2022-06-25）

[15]平面与平面之间的位置关系优质教学PPT（含内容） 编号48（第15页，发表于2022-06-25）

[16]平面与平面之间的位置关系优质教学PPT（含内容） 编号45（第15页，发表于2022-06-25）

[17]平面与平面之间的位置关系优质教学PPT（含内容） 编号40（第15页，发表于2022-06-25）

[18]平面与平面之间的位置关系优质教学PPT（含内容） 编号39（第15页，发表于2022-06-25）

[19]平面与平面之间的位置关系优质教学PPT（含内容） 编号40（第15页，发表于2022-06-25）

[20]平面与平面之间的位置关系优质教学PPT（含内容） 编号37（第15页，发表于2022-06-25）