，，，智能交通灯控制马克威宁，简丽范威，吉尔威瑞肯，安瑞库普曼智能系统小组乌得勒支大学信息与计算科学研究所荷兰乌得勒支号摘要世界各地的车辆运行逐渐增多，尤其是在个大的本地区域。

因此就需要有关交通控制的模拟与优化算法，来更好地适应日益增长的需求。

在文中，我们学习了在城市中的模拟与优化的交通灯控制器，以及目前基于强化学习的自适应优化算法。

我们已经实行了个交通等模拟器，绿灯区，这允许我们用不同的基础设施和不同的交通控制器去实验。

实验结果表明，在所有基础设施的研究领域内，我们的自适应交通灯控制器优于其他固定控制器。

关键字智能交通灯控制，强化学习，多代理系统，智能基础设施，运输研究介绍运输研究的目的是优化人流和物流。

随着道路使用者的数量不断上涨，当前基础设施所提供的资源受到限制。

在未来，交通智能控制将会成为个非常重要的问题。

然而，些交通智能控制存在使用受限的问题。

例如，避免交通堵塞被认为是对环境和经济有益的，但是增加的交通流也可能导致资源需求的增加。

莱文森，。

这有几个交通仿真模型。

在我们的研究中，我们专注于那些具有个体车辆行为的微观模型，以便更好的模拟群体车辆的动力学。

研究表明，这种模型的出现具有现实意义，。

汽车在城市交通中经历了漫长的运行时间，这要归因于低效的交通灯控制。

因此，使用成熟传感器和智能优化算法的交通灯优化控制可能是有益的。

优化的交通灯切换增加了道路的容量和人流，能阻止交通堵塞。

交通灯控制是个复杂的优化问题和几个智能算法，例如模糊逻辑遗传算法和强化学习已被应用并试图解决问题。

在本文中，我们描述了种基于模型的多代理的对交通灯控制的强化学习算法。

我们的方法，基于道路使用者的价值功能威宁，的强化学习，被用来决定每个交通灯的优化选择。

这个决定是基于道路使用者站了个交叉路口的累积投票，在那里每辆汽车使用其估计选票的优势或增益设置它的光的绿色。

在其余路程，它的所有等待时间里，如果信号灯现在是红色的或者绿色的，那么增益的值是不同的。

汽车直到到达个更先进的交通仿真和优化方法是认知多代理系统方式，这些代理互相作用并且与其他代理和基础设施相沟通。

个认知代理是个整体，这个整体利用最小的努力，试着去达成些目标状态。

他利用自己的传感器接收来自环境的信息，对这些来自环境的信息产生信任，利用这些信任，输入信号来选择个行动。

因为每个代理都是个单独的整体，他可以优化他的选择行为例如使用学习能力。

此外，不同的代理有不同的传感器目标行为和学习能力，利用异构多代理系统，从而使我们利用个非常广泛的微观交通模型去实验。

使用了个基于真正司机模型的认知多代理系统的运行信息回应。

在调查中，采取了个拥挤的走廊，选择了有影响因素的路线和起飞时间来研究。

这个结果以前被用于建立个司机数量模型，司机对现有的运行信息回应不同。

利用这数量，在研究的区域内，不同信息系统的影响能被仿真出来。

尽管目前没有结论，但是这样的研究似乎是有希望的。

预测交通对于优化控制来说，预测交通条件的能力是重要的。

例如，如果我们在现有的条件下，能够知道哪些道路将会在未来堵塞，这些信息能够传输给道路使用者，那么他们就能规避这条道路，从而缓解整个系统的拥堵现象。

另外，如果我们能准确的预测不同驾驶策略的后果，个优化决定或者至少对这个区间路段的优化预测就能通过预测结果进行比较。

在个交叉路口，最简单形式的交通预测就是通过在段时间内测量交通，或者假设下时段的交通和现在相同个交通灯下，神经网络被用于表示对列排队的长期预测。

个多感知层，被训练来预测下个时间步长的排队长度，长期预测可以由迭代法步预测制成。

当预测以十个步长进行时，生成的网络将十分精确，但是它还没有被纳入到控制器里。

应用于真实生活情况的交通预测模型被描述在，。

该模型是种占用个仿真基础设施的多代理系统。

每个代理都有两层控制个是简单的驾驶决定，另个是类似于路径选择的决定战术策略。

利用已经安装好的探测装置，真实世界的情况就能被建立成模型。

从这些装置中，这段路进入和离开的车辆数量的信息能被获得。

利用这些信息，在每个交叉路口转弯的车辆数量能够被推断。

通过举例说明这种信息的速度要快于实时模拟系统，预测实际的交通就能被做到。

个被安装在杜伊斯堡的系统，使用存在的交通控制中心的信息，在互联网上产生实时信息。

另个系统被安装在北威斯特法伦州的高速公路上，它使用了的感应线圈来预测千米的道路交通。

目的地后的等待时间，是通过监测汽车流过基础设施和应用强化学习算法而估算出来的。

本文写作安排如下。

第二部分描述了交通是如何被建立预测和控制的。

在第三部分解释了什么是强化学习和些它的应用。

第四部分调查了几个以前交通控制的方法，介绍了我们的新算法。

第五部分描述了我们实验中所使用的仿真器，以及第六部分给出我们的实验和实验结果。

在第七部分我们得出结论。

建立和控制交通在这部分，我们专注于在交通运输方面所使用的信息技术。

在这个区域增加了大量的土地，并且些政府和商业公司在交通智能系统方面获得了利润。

白皮书，。

交通智能系统研究包括车内安全系统，基础设施改变所引起的仿真效果，路途规划，优化运输和智能的基础设施。

其主要目标是提高安全性减少运行时间增加基础设施的能力。

这种改进有益健康经济环境，这表现在交通智能系统的分配预算方面。

在本文中，我们主要对车流的优化感兴趣，从而有效减少平均运行或者等待的车辆次数。

种常见的分析交通的工具就是交通仿真器。

在这部分中，我们将首先描述两种常用于交通模型的技术。

然后我们将描述模型是如何用来获取实时交通信息或者预测交通情况的。

后来，我们描述信息是如何作为种控制交通的手段来进行沟通的，在这样的交通条件下，沟通产生了什么样的影响。

最后，我们描述了所有的汽车都使用计算机进行控制的研究。

建立交通与交通动力学仅有的相似之处是，例如，流体力学和管内的沙子。

建立车流模型的不同方法是用来解释交通的特殊现象的，就像自发形成的交通堵塞状况。

有两种普遍的方法去建立交通宏观和微观模型。

宏观模型宏观交通模型是基于模型的，利用了关于交通密度和速度的方程式，。

这些方程式可以延长积累和放松压力，归因于类似的停停走走的交通和自发的拥堵的现象。

，。

尽管宏观模型可以来模拟些特定的可调驱动行为，但是他们不能提供个直接的灵活的建立和优化交通的方法，这使他们不太适合我们的研究。

微观模型与宏观模型相对比的，微观交通模型提供了种仿真各种各样司机行为的方法。

个微观模型由组车辆占据的基础设施组成。

每辆车都根据自己的规则，和周围的环境产生作用。

根据这些规则，当很多车辆互相作用时，不同种类的行为就会出现。

元胞自动机。

个在基础设施上的具体设计和仿真简单的汽车驾驶规则，利用了元胞自动机。

元胞自动机运用离散的部分连接细胞，那些细胞就能处于种特殊的状态下。

例如，个道路细胞可以包含辆汽车或者也可以是空的。

当地的转换规则决定了系统的动力学，甚至简单的规则可以导致混沌动力学。

描述了这种用于交通仿真的元胞自动机模型。

在每个离散的时间步长内，车辆在定数值上增加自身的速度，直到他们的最大速度。

万如果车速较慢的车行驶在前面，那么车辆的速度将会降低，避免冲撞。

些无规则性是通过增加每辆车的小几率减速而被介绍的。

实验表明，在单路段上，当交通密度增加时，元胞自动机模型的现实行为会以起始波浪那样的形式出现。

认知的多代理系统。

，，，，，