津滨网讯（记者 单毅 牛婧文）由中国汽车技术研究中心有限公司、中国汽车工程学会、中国汽车工业协会、中国汽车报社共同主办，天津经济技术开发区管理委员会特别支持，日本汽车工业协会、德国汽车工业协会、中国汽车动力电池产业创新联盟、新能源汽车国家大数据联盟联合协办的第二十届中国汽车产业发展（泰达）国际论坛（以下简称“泰达汽车论坛”）于2024年8月29日至9月1日在天津滨海新区举办。本届论坛以“风雨同舟二十载 携手并肩向未来”为年度主题，邀请重磅嘉宾展开深入研讨。

在9月1日“科技生态方向圆桌论坛一：20年新引擎——深化人工智能技术的垂直化应用”中，商汤绝影创新中心高级总监李晓华发表题为“多模态大模型 打造下一代座舱大脑”的演讲。

李晓华表示，大模型在车领域，无论是大语言模型还是多模态模型，都带来了许多新的体验。多模态大模型如同一个助手，时刻关注着座舱内以及车外发生的事情。例如，它能判断车辆是否在公交车道行驶，是否有交警指挥，并能给出更好的建议。

李晓华介绍了商汤绝影座舱大脑，主要有以下几个能力：

1.能够很好地感知座舱内的情况，例如识别人的穿着、性别，细致观察座舱内的细节特征，包括物品，如手机、宠物、帽子、眼镜等，都能识别出来。

2.能够感知一些行为，如打电话、吃东西等，并能有效地输出。

3.能够进行环境推理和意图推理，例如识别出两个人在交流、在讨论高兴的事情等。

4.具有跨时空的记忆能力，能够很好地记住座舱内的人员以及共同经历的事情。

对于大模型在座舱合作的模式，李晓华表示，首先，在部署方面，可以部署在纯云端，也可以采用端和云结合的方式。云端可以通过自研的推理框架，支持 100 多个算子库，能够高效地进行端侧模型计算。在生态开发方面，可以实现服务应用的便捷开发，并且通过安全沙箱实现端侧与云侧隐私安全的隔离。下一步是持续更新，通过数据闭环，将用户反馈的数据通过闭环进行训练，通过私有化的 SFT 进行微调，以加强大模型的能力。最后，在合作模式上，我们前面介绍过，从模型层、产品引擎层到上层的应用层，都可以进行不同方式的合作。

“在过去的一年，我们在高通、英伟达的 Orin 基础上完成了端侧框架的联调适配。今年，我们主要在 MTK8678 平台上进行模型算子的调节。后面，我们还会在英伟达的 Sora、Intel 等芯片上进行多模态模型的部署。”李晓华说。（论坛组委会供图）