文清华大学,,,,,,,,致谢随着毕业设计的完成，四年的大学生活也即将结束。在我进入滁州学院学习和最后的毕业论文期间，得到了许多老师和同学的无私帮助，在这里向他们表示深深的感谢,感谢滁州学院，是他给我们提供了良好的学习和发展环境，让我们从只知道学习的中学生成长为能够立足于社会的人。感谢滁州学院计算机与科学技术学院党总支书记张玉虎书记和赵瑞斌老师，是他们带领着我进入机器人足球的的世界，带领我们参加了次次的比赛。并给予了我参加中国机器人大赛的机会，无论是比赛还是毕业设计，他们的悉心指导让我得到了很大的提高。感谢我的队长陶飞以及队友江怡顺马琳琳，在我起步最艰难的时刻他给了我许多无私的帮助，我们起攻克个又个难关，与他们共同备战的过程中我对机器人足球的理解不断加深，为本次的毕业设计打下了坚实的基础。感谢我的父母和家人，是他们把我抚养长大，是他们对我不断的关心和鼓励，我才能取得今天的成绩。合球员的运动模型，推知球员能够达到的最大速度为奔跑启动时间计算如下其中，如果，表示该异构类型能够达到否则，表示该异构类型能达到的最大速度。因此，为了让所有异构类型的可以相互比较，公式做了特别处理，对最大速度达不到的异构类型，额外增加了启动周期数。全速时的体力消耗量球员的体力决定其在后继比赛中的表现，充沛的体力可以保证球员在必要时以最大速度奔跑。是指球员在全速奔跑时每个周期消耗的体力值，因此是越小越好，越节约体力。每个周期球员因为而消耗体力，也会自动补充体力，结合球员的体力模型，球员全速时每个周期的体力消耗量如下所示踢球能力踢球能力包含两个方面，即可踢范围，越大越好，即踢球噪声，越小越好。这两个参数共同构成了踢球能力指标，在我们的实现中这个指标仅对前两个指标起辅助选择作用。和综合为踢球能力，以及将在下面要谈及的和的综合考虑，两种综合方法是相同的，都是先进行归化处理，然后根据收益函数进行综合排序。指标归化经过对参数的指标提炼后，已经极大的降低了维数，接下去要对这些指标进行归化处理，然后根据收益函数综合考虑。假设存在指标，该指标在所有异构类型中的最大值是，最小值是，且的数值越大越符合期望要求如果是越小越好，可先进行逆序调整，统为越大越好。则被归化为对所有的指标先进行逆序调整，然后归化作为分配算法的预处理。分配算法在仿真比赛中，守门员只能是默认类型，因此，需要对后卫中场前锋这个不同的角色分配恰当的异构类型。假设指标集已按照上述方法归化，则个角色选择第类异构类型的综合收益记为其中是指标集中的指标个数，是第类异构的第个指标的归化数值，则是角色对该指标的收益函数。综合收益为各指标收益的累加，也有采用累乘的，或者累加累乘混合计算各指标的综合收益。最大收益对应的异构类型即为角色的选择结果。但是，仿真平台又规定同异构类型不能被同时赋给三个以上的角色默认类型不作限制，假如有多于三个的角色要选择同种异构类型，矛盾就出现了。为此，可以先对所有角色进行优先级排序，排在前面的角色拥有优先选择权，当出现矛盾时，排在后面的角色只能选择对自己而言是次优的异构类型，将所有角色的收益相加记为整体收益。遍历所有的角色排序可能，选择整体收益最大的异构分配算法。在我们的具体实现中，所有角色选用相同的收益函数。对角色实行固定优先级分配，每三个角色为个档次，前锋中前锋右中场中是最高优先级，边后卫右中后卫右中场右属于第二优先级，前锋左中场左后卫左是第三优先级，最后的中后卫左属于第四优先级。使用公式计算第类异构对角色的综合收益，根据综合收益对七种类型排序，第档次的三个角色选择最佳异构类型，第二档次的三个角色选择次佳异构类型，更次的异构类型被分配给第三档次的三个角色，而排在第四的异构类型分配给中后卫左，当然，如果前四种异构类型中存在默认类型，那更低优先级的角色都应该赋予默认类型。其中取，取，是经验数值。异构智能体识别异构智能体的使用是公开的，但其具体的异构类型是对外屏蔽的。所以无法直接获知对方所选用的异构类型，只能够通过赛场情况进行分析推断。如果可以获取对方队员的异构类型，将有利于作出更合理的决策。由于普通球员的视觉消息是局部有噪声的，而在线教练的视觉消息是全局且不带任何干扰，因此选择在线教练来完成对对方异构智能体的辨识，并由在线教练将辨识结果广播至本方的所有球员。回顾存在随机的个异构参数，我们需要找到个始终影响智能体的关键参数。参数影响智能体指令的执行，由于无法得知其他智能体的动作参数，因此这四个参数难以起到决定性作用。而是智能体的体力模型参数，但是体力不是外在表现，难以被其他智能体所知。最后个参数是，只要智能体在运动，就存在固有的速度衰减，因此，参数被用来对异构智能体进行辨识是非常合适的。假设智能体当前位置是，当前速度是，上个周期的位置是，根据仿真平台的运动模型可知其中都可被在线教练精确获知，所以可以很便捷的计算得到介于的。仿真平台规定服从均匀分布，且数值精度达到，因此，共存在种可能数值，而异构类型共有种，所以两个或者两个以上异构类型的参数相同的概率为也就是说利用进行辨识的准确率达到，而且，即使存在相同的数值，还有机会猜对，实际比赛表明这种方法已经基本达到辨识要求。如果要提高辨识准确率，就需要分析其他参数，而其他参数都只是个范围，需要长期的辨识过程，才有可能得出正确结果。小结自从在年成功的把异构智能体应用到仿真比赛，造就了该球队强悍的攻击力后，对异构智能体的研究日益受到重视。本章首先介绍了在线教练的设计，以完成异构智能体的选择和辨识功能，接着详细描述了我们对异构智能体的评价标准和分配算法，最后给出了辨识算法。表是对异构智能体分配算法的测试结果，两队的基础都是，只是支队伍使用在线教练进行异构智能体的选择，另支不使用在线教练仅使用默认类型球员，共比赛场。因为比赛环境存在随机特性，而且异构智能体的参数也是随机产生的，根据场比赛无法作出适当的评价。但是，场比赛的结果足以让我们更倾向于使用在线教练进行异构智能体的选择与辨识。表使用异构智能体默认智能体的场比赛测试结果赢场平场输场总进球数总失球数使用在线教练不使用在线教练定性分析，由于选用的异构智能体跑动速度更快，更有利于截球，得到更多的控球时间而默认智能体由于缺乏对足球的控制权，不仅射门机会极少，而且后卫退防的速度也不及异构前锋，形成防守漏洞给予对方更多的射门机会。智能体间的配合与对抗在混合型的智能体体系结构中，规划决策模块在知识库的指导下，根据当前的世界模型，推理出最佳动作，交由动作模块执行。而动作模块对动作的实现方法又反过来影响推理过程。因此，我们把动作分成执行和分析两个部分，执行部分即动作模块所调用的分析部分则是为规划决策模块服务，推理选择出更优的动作。执行部分和分析部分相互关联，共同构成了个动作，也将动作模块和规划决策模块紧密的联系在起。本章主要研究了和足球相关的几个动作。由于底层已经将截球模块设计的很好，在此对于截球方法就不在作过多的介绍，主要介绍本方智能体间的传球配合，如何根据场上千变万化的形式来决定传球对象。最后，利用智能体对抗中的领先步优势，实现了射门算法智能体间的配合传球传球建立在截球和加速球的基础上，传球的分析部分需要记性在线的计算，而传球的执行部分则由加速球动作来完成。传球涉及到两个球员，传球者和接球者。传球者即处于控球状态的球员，由他判断最佳接球者，并将足球向接球者传去。从这个意义上说，长距离带球是传球的个变种，只是接球者是智能体自身而已。本节首先介绍了传球的基本无遗漏无重复的搜索空间，然后对可行传球路线进行选择，以强化学习进行选择优先级的调整最后在传球的基础上简单讨论了更大范围内的配合情况。传球路线的搜索在足球比赛中，传球路线的选择至关重要。所谓的传球路线就是选择个传球角度，同时赋予足球定的速度大小从该角度被踢出。很难想象个球员总是可以从后场开始带球，长途跋涉直到射门成功。只有通过流畅的传接球配合，才能更有效率的推进足球。如果不能搜索出有效的传球路线，足球将始终被压制在我方半场，既没有本队的射门机会，又增加对方的射门机会。旦涉及到传球，个很自然的想法是首先确定接球者，然后搜索接球者附近区域，判断是否存在可行的传球路线，所谓可行的传球路线是指足球传出后将被接球者最快接到，而不会提前被其他球员抢去，因此，对传球路线的可行性分析其实就是分析截球问题。对接球者附近区域的搜索，实际就是对其可能的接球点进行离散化，而且，每个接球点还可能对应着很多不同的传球末速度，所谓传球末速度是指足球到达接球点时的速度，这两个因素离散化后的组合非常之多。为了降低组合维数，可以通过接球者来推出传球末速度接球者到达接球点的时间可以计算得出，只要让足球也同样在时间内到达该接球点就可以完成次成功的传球，根据足球和接球点的距离即可推出传球末速度。这样，当对个接球者考虑时，只需要对接球点进行搜索即可，传球末速度可以通过理论都小于，则将射门点的和两个因素共同交由更高层次的决策做进步的判断。射门方法伪代码如下。将球门线等分为个点，将每个点与射门球员进行连线，计算出相关数据遍历球门线的个点此射门点距离距离自己距离大于丢弃此射门点以最大力量踢球球不能到达射门点丢弃此射门点对保留下的射门点进行遍历应用上述公式进行权值计算选出最大值，并返回射门点。射门动作的测试以离线学习的方法对射门进行分析，在其参加的国际比赛中，平均每场进球超过了个。在其代码的基础上，方采用上述的射门算法，另方实现了的射门分析算法，场比赛的测试结果如表所示。表使用数值方法射门法的场比赛测试结果赢场平场输场总进球数总失球数使用数值方法使