现有基于图像的车辆追踪算法需要通过图像匹配来识别监控视频中的目标车辆。由于图像模板的确定和获取具有主观性，且在某些场景下可能存在遮挡、模糊等问题，一定程度上降低了目标车辆识别的准确性。本团队提出“交警AI助手——一种基于自然语言模型（GPT-3）的违法车辆追踪系统”，利用给定文本描述追踪特定车辆，是智慧交通监控系统的重要前沿方向。本作品核心算法由车辆局部特征提取网络、车辆全局特征提取网络、自然语言文本嵌入网络以及多重损失函数四部分组成。首先，基于经典Resnet-101网络提取交通监控视频中车辆局部特征，包括车辆颜色、车型等外观特征；其次，采用Video Swin Transformer模型和属性图卷积网络对车辆全局特征进行提取，对监控视频中车辆动作、车间关系以及环境特征进行建模；再次，使用预训练的GPT-3模型作为文本编码器学习车辆的文本嵌入，以实现车辆文本描述语义级分析理解；最后，采用三元组损失函数、实体识别损失函数和对抗性损失函数三种函数对模型进行训练，构建完整的基于自然语言的违法车辆追踪模型。本作品采用视觉和语言多模态技术，克服了传统基于图像的车辆追踪技术的弊端，增强了车辆追踪系统的灵活性和自由性，为基于语义分析的新一代智慧交通系统提供理论和技术上的支持，具有广阔的应用前景。
