近日，电子工程学院王智文教授团队在计算机科学领域顶级期刊IEEE Transactions on Intelligent Transportation Systems（中科院一区top期刊，IF=7.9）发表文章，题目为Learning Simultaneous and Sequential Decisions in Multi-Agent Systems With Application to TrafficSignal Control，2021级硕士研究生张海鹏系第一作者，王智文教授为通讯作者。

有效的交通信号控制（TSC）已成为缓解城市道路拥堵的有效途径之一。多智能体强化学习（multi-agent reinforction learning，MARL）将交叉口建模为一个自主智能体，在求解动态TSC问题上表现出显著的性能。然而，大多数基于MARL的TSC方法由于Agent同时更新策略而存在非平稳性问题。为了解决这一问题，该论文将多交叉口TSC问题看作是一个具有在线学习策略的多智能体序列决策过程。利用Transformer结构等序列模型学习多agent联合策略。通过精心设计各智能体的优势函数，可以保证其单调改进性。此外，为了充分利用同时MARL和序列MARL的优点，论文进一步提出了一种新的MARL网络选择算法（MARL-NS），该算法仅在序列MARL可能陷入局部最优的状态下选择性地使用同时MARL。我们的理论证明了MARL-NS保持合作MARL收敛性质。最后，在统一的TSC基准LibSignal上验证了所提出的MARL-NS方法。实验结果表明，该方法在网络级和干线协调方面均优于基线方法。

文章信息：

Haipeng Zhang, Zhiwen Wang, Jilin Yu, Ruonan Zhang, Caoqing Jiang, Gongkun Luo,Weiwei Wu, and Wanyuan Wang. Learning Simultaneous and Sequential Decisions in Multi-Agent Systems With Application to TrafficSignal Control.IEEE Transactions on Intelligent Transportation Systems,2025,26(6):8257-8267.DOI: 10.1109/TITS.2025.3560712

文章链接：

https://ieeexplore.ieee.org/document/10975081