数据挖掘顶会ICDM 2024论文分享┆MetaSTC：一种基于聚类和元学习的时空预测框架
第24届IEEE国际数据挖掘会议（IEEE International Conference on Data Mining，ICDM）将于2024年12月9日至12日在阿拉伯联合酋长国首都阿布扎比隆重举行。ICDM是世界数据挖掘研究顶级会议，创办于2001年，每年举办一届,会议主题涵盖了有关数据挖掘的算法和智能系统等。ICDM为中国人工智能学会（CAAI）B类会议，中国计算机学会（CCF）B类会议。
本推文详细介绍了上海交通大学先进网络实验室（Advanced Network Laboratory，ANL）的最新论文成果《MetaSTC: A Backbone Agnostic Spatio-Temporal Framework for Traffic Forecasting》，该论文已被第24届IEEE国际数据挖掘会议接收，论文的作者包括：上海交通大学先进网络实验室的学生许可欣、高宇岑、余哲梦，老师高晓沨教授、陈贵海教授；滴滴国际的方君、张凇健。论文提出了一种轻量流量预测框架MetaSTC。针对交通数据集周期性特点和地理特征，MetaSTC设计了基于门控机制的时空表征。并且结合了聚类、元学习等技术，轻量化时空预测模型。通过在交通流量大规模公开数据集LargeST以及滴滴公司的真实路网数据集上的实验比较，验证了MetaSTC能够更加准确的预测交通流量，并且在时间效率上大幅提升。
1.研究背景及主要贡献
交通流预测问题是交通管理与控制领域的一项重要任务。交通流预测能够帮助交通管理部门提前掌握交通流运行情况，从而提前制定管控措施。对于驾驶者和乘客来说，准确的交通流量预测可以提供更可靠的出行建议，帮助他们避开拥堵路段，减少行程时间，提高出行的舒适度和满意度。多年来，交通流量预测领域的研究一直是研究热点，涵盖了统计方法、传统机器学习技术和深度学习模型等多种方法。
由于交通预测问题与现实场景之间密不可分的关系，考虑模型设计应用于真实场景大规模数据集的可行性和有效性十分关键。深度学习具有复杂的网络结构，在实际应用时往往受到有限计算资源的约束。同时，模型对于分布差异的数据中趋向预测数据的平均值，这使得模型的性能随着数据量的增加而降低。模型如何应对大规模交通流量数据复杂的时间依赖性，空间差异性，同时降低预测的成本开销成为非常关键的挑战。针对大规模数据集的场景，论文提出了一种轻量化时空预测框架MetaSTC。论文的贡献可以概括为：
(1)论文提出一种轻量级时空预测框架，该框架由时空聚类模块和元学习模块组成。论文在真实世界的交通流数据集上进行了大量实验，MetaSTC 模型显示出很高的准确性和计算效率。
(2)论文提出了一种新的编码方法来提取时空特征，基于时空特征聚类拆分大规模数据集。
(3)引入了一种基于时空聚类的元学习器，可实现更准确、更高效的预测。
(4)论文提出的轻量化交通预测框架展现了深度学习模型在实际交通场景的可能性，该框架能够为城市规划者提供未来交通需求的预测，对于城市交通的规划具有重要意义。
2.方法
图1 MetaSTC的整体架构
MetaSTC的整体架构如图1所示。在主干框架由时空表征聚类和元学习两部分组成。其中，时空表征模块由时间编码、空间编码、门控机制和聚类组成。为了有效提取交通数据中丰富的特征，该模块分别对其道路的时序规律（流量）和非时序特征（宽度、长度、车道数等）设计编码器，并利门控机制调整时间空间的特征权重。通过K-means++算法，将大规模数据集中相似时空特征的道路进行聚类。在元学习模块中，MetaSTC沿用聚类得到的结果，将具有相似时空特征的数据分在同一个元任务下进行训练。元学习的设计使得模型可以迅速在子任务上收敛，从而达到更高的准确性和效率。
3.实验
(1)实施细节
实验运行在48GB内存的A40上。实验使用Adam优化器，设置初始学习率为 0.001，训练轮数为 1000。参数选择上，实验批次大小设为 64，表示维度设置为 12，K-means++算法的距离函数设为欧氏函数，元学习的网络层数设置为 3。
(2)实验结果
论文使用来自滴滴全球的两个不同城市的真实交通数据集和两个公共数据集PeMS04和LargeST进行实验，实验数据按照 8:2的比例划分训练集和测试集。论文将MetaSTC与最新最先进的时空预测模型进行比较，其中包括FiLM，TimesNet和DLinear等，使用的指标包括平均绝对误差（Mean Absolute Error，简称MAE）和平均平方误差（Mean Squared Error，简称MSE）。如表1所示，在预测准确性方面，MetaSTC 模型在与先进的深度学习模型 FiLM 结合使用时取得了最佳性能。
表1 MetaSTC与最先进的流量预测模型的比较
如表2所示，论文对完整的 MetaSTC 模型和两个消融版本进行了比较。基于聚类的模型优于直接预测模型，其 MAE 误差降低了 48.2%。元学习的加入同样对模型的性能产生了显著的积极影响，使 MAE 误差降低了 32.9%。
图2 MetaSTC主要模块消融实验
4.总结与展望
交通流量预测是提供便捷高效的城市交通服务的重要任务之一。论文分析了以往方法在预测准确性和运行效率方面无法达到原大规模数据集效果的缺点，提出了一种基于聚类和元学习的时空框架MetaSTC，能够快速训练并提高预测精度。该模型在包含数千条道路的真实世界数据集上进行了实验，结果优于基线模型。消融实验证明了框架两个主要模块聚类模块和元学习模块的重要性，它们能带来巨大的性能提升。论文提出的MetaSTC框架为加速和轻量级流量预测模型提供了一个有效而强大的接口。通过快速预测交通流量变化， MetaSTC框架能够帮助帮助相关部门及时调整交通管理策略，对于公共交通的规划和交通基础设施的建设都具有重要的意义。