端到端的自动驾驶--论坛分析
从Tesla开始，越来越多的企业和研究机构开始投身于端到端的自动驾驶模型，但是目前端到端的缺点是黑盒、不可读、不可解释。观看一些讲解和论坛后，个人觉得可解释的端到端模型将是未来的趋势。
视觉语言–大模型可以提供一些场景下的决策；
目前预测模块制约了自动驾驶的发展，感知相对稳定，规划控制也可以实时的计算出运动轨迹，不同的决策约束了不同的ROI区域，从而限制了相关的规划轨迹求解。
视觉语言模型，缺点是3D的场景下描述较差，推导计算周期长，规划轨迹不稳定。
清华大学—赵行老师：
目前研究措施：使用双系统进行互补，一个是快模型。一个是慢模型，简单问题和默认情况下是快模型进行常规执行，复杂场景慢模型输出决策给快系统进行修正；
pipeline
3D perception --> Video --> motion Prediction --> Trajectory Planning
两种结合：
1、感知层面：标注的视频进行匹配；
2、规划层面：两个模型的规划轨迹进行互相配合，进行微调；
参考tesla影子模式；
两个OrinX，一个fast，一个slow，多线程并行运行，slow额外发送一条指令给fast，微调fast的规划轨迹；
语言标注，推理标注，后验结果标注，模仿学习；
浙江大学—廖依伊老师—面向自动驾驶的写实可控视觉仿真
传统的数据集无法闭环测试；carla场景搭建复杂，与现实存在差距较大。