我们用AI检测了蒙娜丽莎的微笑，发现她并不高兴

2021-02-24 14:00

我是科学家iScientist

2020年10月25日，“科普中国-我是科学家”第28期“AI：人工智能，或者爱”演讲现场，合肥工业大学计算机与信息学院教授、情感计算研究所所长孙晓带来演讲：《你可能不了解ta的心意，但人工智能知道》。本文来自微信公众号：我是科学家iScientist（ID：IamaScientist），作者：孙晓，编辑：麦芽杨、凝音，原文标题：《我们用AI检测了蒙娜丽莎的微笑，发现62%情绪是中性，还有12%高兴和19%悲哀 | 孙晓》

孙晓演讲视频：

以下为孙晓演讲实录：

2020.10.25 合肥

大家好，我叫孙晓，来自合肥工业大学。我是一名计算机科学家，我的工作是教计算机识别人心。

人心非常复杂，且我不是心理学家，那我怎么能去教计算机去识别人心？

我想先请你来看一幅经典画作。

蒙娜丽莎的表情非常微妙。不同背景和不同知识领域的人都对她的表情进行过一些解读：有人说她看起来非常温柔；有人说她面带严肃；也有人说她这是吃过巧克力后露出的微笑；甚至有人说她这是刚怀孕后的微笑……大家都想尝试发现蒙娜丽莎的内心到底在想什么。

我们也通过面部表情识别程序对蒙娜丽莎的表情做了一个简单识别，结果非常有趣，我们发现，蒙娜丽莎的表情有62%的可能性是中性；悲哀和高兴不是主要成分，分别只占19%和12%，但同时存在她的表情中。

这里的计算机面部表情识别程序，实际就是我们在教计算机去简单地识别人的表情。怎么做？我们给计算机上百万张人脸表情数据，让它去学习关于表情的一些规律，它学习过后就可以自动地去识别人的面部表情。

那计算机到底能做到一个什么程度？

Data from ICIP2020

做个小测验：我这里有三个动图，其中，有一个动图里的人做了一个非常微小的惊讶表情。你是否能看出是哪一位做出了这个表情？

我来公布一下正确答案。

积极

惊讶

消极

确实，中间这位他露出了一个非常短暂的惊讶表情，其他两位则分别出现了短暂的积极和消极。如果你能把三个表情全部识别正确，我很诚挚地邀请你来我们的实验室，来帮我们提升计算机的情感识别能力。

这其实是我们参加世界表情识别大赛时的数据。我们用人工智能算法参加了这个比赛，很荣幸地获得了第一名。

看起来，人工智能算法完全可以准确识别出那些瞬间即逝的微妙表情。那么，我们能否说它可以识别内心？

这让我想起十几年前在日本留学时参与的一些工作。

当时，我们团队关注到了一些国家和地区的自杀现象，这些自杀现象的背后有一些非常深层的心理问题。于是我们的团队就开始去做数据收集工作，获取了一些自杀者生前的数据，包括他们的生理健康数据。我们发现，他们的生理没有什么明显问题，但他们又的确在自己的博客或微博里记录了非常灰暗的心路历程。

于是我们团队又开始大量收集一些博客和微博的公开数据，然后请求心理学家的帮助，对这些博客和微博内容字里行间蕴含的情感进行非常细致的标注。

这就是我们已经标注后的样子。大家可能看不太清，这也说明标注得非常细致。从篇章段落到字里行间，甚至是每一个字里面所蕴含的心理状态，都进行了标注。我们将这些教给计算机，于是计算机也学会了从文字中去探讨人的心理状态。

这项工作目前我们还在持续进行中。

这是两个令人悲伤的微博，两名博主已经逝去，他们的微博更新时间也分别停留在了2012年和2013年。

我们用算法对微博内容做了一些简单分析，发现在半年时间内，他们的微博心理波动出现了一些非常明显的特征，比如，发微博的总量已经非常低，尤其是一些正向的情感明显降低，而且负向情感也逐渐增多。这些特征都体现出他们可能有非常大的心理压力，心里也非常痛苦。这些都可以通过字里行间体现出来。

我们用微博监测心理波动，也发现了一些有意思的事。这是我们实验室的两位同学，一位男生，一位女生，他们疫情在家的半年时间里微博中体现的情感波动情况。

先看男生的微博，大部分时间都很高兴，很少出现负面情绪。基本上能脑补出来，这个男生每天笑呵呵地生活，这或许也可以从数据上支撑我们俗话说的“男人的快乐很简单”。再看女生，各种情绪的波动错综复杂，这或许也侧面体现了“女生的心思很细腻”。

所以，我们可以通过面部表情和社交网络内容，似乎可以去对人的心理进行一些简单探测了。那么，我们能不能在一些更复杂的情况下，对人的心理进行更复杂的评估？

在我看来，人的心理就像一棵树。

人的性格特质与生俱来，难以改变，就像树根；人的心理的内部状态，比如我现在很激动，有时候还显得挺压抑，或者有时我对某件事物表现出了一种爱慕，这些相对长时间的状态，就像树干；而心理的外在表现，比如，我现在笑了，然后我又冷静下来了，也包括我的语音、语调、呼吸频率甚至我的走路姿态，这些都是我内部心理状态的体现，就像树叶；当然了，还有外部的刺激，心理的外部刺激就像风雨，风吹雨打，你的树叶无时无刻不在摇动；如果风大了，树干也会摇动甚至会折断，可能会发生严重的心理问题。

除了社交网络内容和面部表情，心理的内部状态也可以体现在眼神、行走姿态和一些生理信号，比如心率、呼吸。

如果能综合这些信息，那我们就可以更准确地发现人的内部心理状态，或者说，我们希望通过心理的外在表现去挖掘人的心理内部状态，去发现人的性格特质，通过树叶的摆动去发现树干的状态甚至发现树根它长什么样子。

这也是我目前所从事的研究工作，叫“普适心理计算”。它是情感计算的一个分支，属于人工智能和心理学的一个交叉，人工智能借用心理学知识来探测人的心理状态。

这个视频就是我们实验室的研究成果之一。视频里是我们实验室的一位快乐男生，也是刚才提到的那位“快乐很简单”的男生。我们综合了面部表情、语音语调、说话的内容，还有他眼睛的视角、视野以及他身体整个上半身的姿态，甚至包括他的心率，呼吸等等，判断出了他目前的心理状态。视频里可以看到，我交给他这个任务以后，他表现得非常兴奋，数据中也能看出来他“兴奋”这一栏的值非常高；视频快结束的时候，他听说我不能带他来现场观摩，还表现出了些许失望。

既然可以通过一些心理的外在表现去探测人的内部心理，那我们能不能再深一步去探测他的性格特质？

来看这两张图片。

我安排实验室里的一位男生和一位女生分别去观察这个蒙娜丽莎的画像，同时用算法去记录他们的眼神。越亮的地方，表示他们眼神落在这个地方的时间越久。可能大家能比较容易猜到，右面图像的观察者是“喜欢看脸”的男生，而左边的观察者是喜欢看穿着、看各种细节的女生。

性别差异包括随之而来的性格特质差异，会让人在处理外部信息的时候产生明显的差异，这些差异也会有一些规律。那反过来，我能不能通过这些规律，倒推出你的性格特质，进行一些分析呢？

我们也用这个算法去分析了一些网络视频。这个视频可能大家看过，我们将分析结果包括他的人格特质，跟一些司法领域专家的结论进行了比对，也得到了一个非常匹配的结论。比如，他的情绪控制能力差，容易做出某些极端的行为。

也就是说，在同样的观测条件下，计算机算法可以做到和人基本一致。那，如果它学到更多的专业知识，是不是可以比人做得更好？

通过上面这个视频截图里的新闻事件，我们也会发现，在婚恋中，“选对人”还是非常重要的。那我们的人工智能算法以及性格特质的评估算法，能不能帮助我们选择一位合适的伴侣？

我们也做了一个非常有趣的研究。

我们找来很多对夫妻或处在热恋中的情侣，让他们录了一些自述视频，让他们对自己的关系状况做了一些自我评价，问他们，你觉得你们的这个关系怎么样？然后我们将他们双方的视频进行分析，分析了每个人的性格特质并与他们的自评进行比对。

最后人工智能算法得出一个结论：在自评中分数比较高、觉得关系非常和谐的那些情侣，往往两个人的性格特质分数更接近，类似我们俗话说的“钢铁直男配直女”。为什么？因为性格特质更接近，他们对外部事物的处理和决策也会更接近，非常容易达成统一意见，比较少产生冲突。当然，我个人对这点也有一些小小的顾虑：两个人非常愉快地达成统一了，但是可能一起对，也可能是一起错。

职场上也同样适用。比如，有个集团要从三位候选人中挑选一位去做区域的负责人。这三位员工都非常优秀，也都有过独当一面的经历，在选拔面试、问卷调查、民意调查甚至在专业人才评测机构的调查里，他们的分数几乎都一样。这就有点困难了，到底该选择谁？

我们派出了AI智能算法，从性格特质层面对他们做了一个更客观的评测，选用了他们的面试视频进行了分析，结果发现，在“开放性”和“尽职性”两个方面，第一位候选人得分明显高于后面两位，也就是说，他是那种敢打敢拼、开疆辟土的人，于是AI算法倾向于推荐第一位候选人。这也说明我们的算法，可以再配合问卷调研等方式，可以做出更客观的结果，辅助人们做出决策。

这张图片里的当事人，是某单位里关键岗位的一位员工。这个岗位对技术要求非常高，这位员工的技术本身非常过硬。但他的同事形容，感觉他性格有点怪怪的，会无缘无故发脾气，而且很容易跟人产生冲突，跟下属相处得也不是太好。单位领导觉得，他可能是工作压力大，换一换环境或者让他去做一下访谈就没什么问题了，但做访谈又完全问不出东西，于是又让他去做问卷，结果显示他甚至比正常人还正常。

这就难了，于是我们又请出了AI智能算法，对他在医院诊疗过程中的行为数据进行了分析。通过他的心理波动数据，还有性格特质数据，分析发现，他的自控能力比较差，分数比较低，而且他确实会存在一些间歇性的难以控制自己行为的情况。然后多位专家综合我们的数据分析，最后从医学角度确诊他为精神分裂。这个故事也说明，我们已经可以在一些精神疾病的确诊和筛选方面，为专家和医疗机构提供非常重要的数据支撑，甚至辅助他们去做出最终的决定。

“情感计算”是二十几年前提出的概念，它的初衷实际上是帮助那些自闭症儿童，让他们去识别自己的情绪并能控制自己的情绪，也包括对他人情绪的认知。

我刚才分享的，无论是面部表情的情感计算，还是文本的情感计算，或者更复杂的心理探测甚至包括人格的探测，都是希望利用人工智能和情感计算技术，从“心”为人提供服务。到现在，情感计算实际上已经慢慢在落地了，在一些领域中，比如机器人或自动驾驶领域，都会或多或少应用到情感计算。我们也希望通过我们的技术手段，让情感计算在更多领域里为我们提供服务。

当然，技术为我们提供便利的同时，也会面对质疑。和其他的人工智能技术一样，大家可能对情感计算技术也抱有一些顾虑，比如可能会侵犯我们的隐私。我觉得，我们完全可以怀抱一种开放的态度，来共同建设和完善，让技术更好地服务于人类。从“心”开始，未来可期。

谢谢大家。

本文来自微信公众号：我是科学家iScientist（ID：IamaScientist），作者：孙晓