智能座舱的算法包括哪些方面？ 第1页

如果从人机交互的感知上面来划分，算法最重要的两个模块毫无疑问是视觉算法和听觉算法了。

而算法终归是为了场景服务的，所以我们如果要弄清楚算法需要在哪方面发力，就必须要弄清楚场景的流程。

这也是一般智能座舱研发算法的第一步，需要明确使用场景。比如驾驶员的视线、行为如何进行判断疲劳度。这也关系后期的模型选择、数据采集的针对性。

因为视觉算法和听觉算法这两个模块实际包含的非常多，比如视觉算法中常见的，如视线判定、面部判定、手部动作判定、上半身行为判定、疲劳判定、情绪判定、综合判定等。听觉算法中语音前后端的处理等。如果全部说出来，估计都可以写一本书。

我就挑一个有意思的说下，关于视觉算法里面的情绪判定。

什么是情绪？

“释义为人从事某种活动时产生的兴奋心理状态；或指不愉快的情感；泛指感情；缠绵的情意；劲头；情况；端绪。

情绪这一词出自南朝·梁·江淹《泣赋》：“直视百里，处处秋烟，阒寂以思，情绪留连。”

在车内的日常场景里面，驾驶员的驾驶情绪，副驾驶员的乘坐情绪，毫无疑问是非常重要的一个场景。

车载情绪的算法研究现在集中在安全、关怀、娱乐这三个方面。

就以安全为例，当视觉算法识别到驾驶员或者副驾驶处于一种极端负面情绪时候，可以采取主动干预，包括打断情绪的切换音乐，释放香氛或者和ADAS的联动，在情绪无法平复的时候，强制减速靠边停车。

如之前的一个新闻：高速上，副驾女子在车后座发现一个没见过的女士皮包。询问男友时，男友因为夜间集中注意力开车，表示不知道是谁的。女子见男友无动于衷，变得愤怒无比，开始猛拉男友手中的方向盘，导致车辆失控，在高速上旋转，碰撞护栏多次，场景危险万分。而警察事后调查事故经过，女子说脑袋当时懵了，就想着大不了同归于尽！

明确了使用场景，接下来就是情绪的建模。

现在的情绪建模方式包括离散情绪、连续情绪空间、面部动作单元（AU）三种。

离散情绪是美国心理学家保罗*艾克曼在60年代提出的一个概念，在《情绪的解析》一书里面有着详细的说明。

他提出来人类有6种基本的情绪：快乐、悲伤、愤怒、惊讶、恐惧、厌恶。

随后，心理学家罗伯特*普拉奇克提出来人类具有的8种对应的两极情绪。

快乐：悲伤； 愤怒：恐惧； 信任：厌恶； 惊讶：期待；

并用情感轮来标识情绪之间的关系和强度。

而这个理论模型也展示出来人的最终表现情绪是由基础情绪复合、衍化出来的。

确定了建模的模型之后，就是关于模型的训练、测试了，比如面部情绪数据的采集和分析。

采集的方法有影视剧的情绪数据挖掘和实际智能车厢环境的真实表演或者引导表演等。

输入一般为人脸图片或序列，预处理的方式通常为人脸检测、人脸关键点检测、人脸矫正、数据增强等。离散情绪的输出则是每种离散情绪的分类结果。

实际，人脸识别升级版的面部情绪识别在很多场景应用中都能发挥其作用。

比如广告投放的用户反馈满意度。

比如招聘环节的面试者的抗压测试。

比如刑侦审讯嫌疑犯的评估测谎。

而除了面部情绪的视觉算法之外，关乎真实情绪的识别，还需要加入音频和生理信号的算法识别。

音频的算法包括分析呼吸声音的变化，说话的声音特征（音高、速度、重音、响度等）。

而生理信号的算法则是脉搏、脑电波、皮肤电阻、血氧这些类似测谎仪监控的数据进行分析。

综合以上多种算法，才有可能评估出智能座舱内的驾乘人员的真实情绪，并在保障安全、关怀、娱乐的前提下进行相关的监控和干预，有效杜绝危险行为的发生。

当然，情绪判定必须是要在保障个人隐私的前提，在用户的允许下才能进行的智能座舱功能。

参考：

”智能座舱开发与实践” 杨聪等编著