admin ，以排队及不同区段快要接近信号灯的车辆对路通状况分析，进而确定最好的信号灯配置。
该模型由香港科技大学（广州）的研究团队提出，其背后关键是一个名为LLMLight的框架。
该框架向智能体提供详细的实时交通状况，并结合先验知识构成提示，利用大模型卓越的泛化能力，采用符合人类直觉的推理和决策过程来实现有效的交通控制。
在九个交通流数据集上的实验证明了 LLMLight 框架的有效性、泛化能力和可解释性。
具体来说，在真实数据集上，LLMLight 在所有基准测试中始终达到了 SOTA 或与经典强化学习等方法同等的性能水平，并且拥有比后者更为强大的泛化性。
同时，LLMLight 还能在决策时提供背后的分析逻辑，这一可解释性实现了信号灯控制的透明化。
目前，LLMLight 框架、交通信号灯控制垂类大模型 LightGPT 已开源。
交通信号控制（TSC）是城市交通管理的重要组成部分，旨在优化道路网络效率并减少拥堵。
其中，交通工程方法主要侧重于制定有效的启发式算法，根据车道级交通状况属性，动态调整交通信号灯配置。然而，这些方法的设计严重依赖人力及专业领域知识。
之后，多数研究便基于深度强化学习技术来应对这一任务，并在各种交通场景中都表现出了卓越的性能。
然而，基于强化学习的方法也存在明显缺点。首先，由于他们的训练数据仅涵盖有限的交通情况，致使其表现出局限的泛化能力，特别是在转移到更大规模的交通网络或在不常见的路况下（例如，极端高流量的情况）。
此外，由于深度神经网络（DNN）的黑盒特性，基于深度强化学习的方法缺乏可解释性，这使得研究人员很难理解其在某交通状况下控制行为的背后逻辑。
而当今，大语言模型凭借其卓越的零样本学习和泛化能力，它以模仿近似人类的推理过程来解决复杂任务，彻底改变了多个领域。
例如在交通控制任务上，PromptGAT 使用 LLM 生成人类知识，以此来帮助 DNN 模型理解 TSC 任务中的长尾场景（例如极端天气），旨在弥合现实世界与模拟之间的差距。
不过，虽然现有的研究已经开始探索利用 LLM 作为辅助工具来增强决策，但直接利用 LLM 作为 TSC 智能体进行类人决策的潜力还尚未探寻。
第一个挑战在于如何使 LLM 能够理解实时交通动态并与交通环境做有效交互。
LLM 通常在大规模自然语言语料库上进行预训练，但很少包含非文本的流量数据（例如传感器读数和 GPS 轨迹）。尽管它们具有跨多种任务和领域的泛化能力，但实时交通数据和自然语言之间存在固有差距。
首先，通才大模型往往缺乏特定领域的知识，容易出现专业领域的幻觉问题。尽管 GPT-4 等最先进的 LLM 表现出了优异的泛化能力，但它们的闭源性质和高昂成本并不利于投入到实时 TSC 任务及其后续优化中。
因此，训练专门为 TSC 任务量身定制的 LLM 成为了当下更优的选择。
为了应对上述挑战，研究人员提出了 LLMLight 框架，其旨在整合大语言模型作为智能体，实现交通信号灯控制。
首先该研究将 TSC 视为部分可观察的马尔可夫博弈（Partially Observable Markov Game），其中每个 LLM 智能体管理一个十字路口的交通灯。
在每个信号切换时间步上，智能体都会收集目标路口的交通状况，并将其转换为人类可读的文本作为实时观察。
此外，该研究还结合了信息量丰富的任务描述及一条与控制策略有关的常识知识，以帮助 LLM 理解交通管理任务。交通路口的实时状态、任务描述与控制动作空间结合，形成了指导智能体决策的知识提示。
最后，LLM 控制智能体利用思想链(CoT) 推理来确定下一个时间片的最佳交通信号灯配置。
并且该研究还构建了一个交通信号灯控制垂类大模型 LightGPT 来增强 LLMLight 框架。一方面，提出了模仿学习微调（Imitation Fine-tuning），让学生 LLM 学习 GPT-4 产生的高质量决策和推理轨迹。
另一方面，引入了一个由评论家模型指导的策略优化（Critic-gudied Policy Refinement）过程，使其评估和改进 LLM 智能体的控制。
优化后的 LightGPT 可以产生比 GPT-4 更具成本效益且更有效的控制策略，并在不同流量场景中展现出卓越的泛化能力。
常识知识增强的智能体提示构建：组成一则整合了常识知识的提示，用于指导 LLM 推理出下一时间片最优的交通信号灯配置；
智能体的分析推理及决策：LLM 使用构建的提示进行分析推理决策过程，随后做出决策。其流程如下图所示：
研究人员将交通信号控制定义为一个部分可观察的马尔可夫博弈。基于交叉口实时交通状况的观察O、交通场景描述 dscene、任务描述 dtask、常识知识 dknow 以及信号灯控制动作空间 。