去年,我们研究了康奈尔大学科学家的一个有趣的研究项目,该项目试图使用可穿戴相机来跟踪面部表情,而该技术现在已经采用了更实用的形式。该团队开发了一种类似项链的设备,该设备使用红外摄像头对完整的面部运动进行成像,他们认为这可以成为跟踪佩戴者一天中情绪的有用工具。
该技术的第一次迭代被称为 C-Face,被认为是一种“看到”人们戴口罩时面部表情的方式。该系统由一对固定在耳机末端的摄像头组成,将它们放置在对象的耳朵下方。
通过观察面具外的脸颊轮廓,该系统可以推断出 42 个面部特征的位置,从而确定眼睛、眉毛、嘴巴的形状,并最终确定他们的面部表情。C-Face 系统能够以 88% 的准确率反映佩戴者的实际面部表情,并在计算机屏幕上显示八个相应表情符号之一。
为了使这项技术更接近现实世界的应用,研究人员现在将其塑造成一种类似项链的设备,他们称之为 NeckFace。它的工作原理相同,但使用红外摄像头系统而不是原版中看到的 RGB 摄像头,并从下方捕捉下巴和颈部的图像。由此,系统可以跟踪佩戴者的面部运动并对其表情进行 3D 重建。
一项涉及 13 名参与者的研究证明了这一点,他们被要求在坐着和走动时做出不同的面部表情。这涉及受试者旋转头部,甚至拆卸和重新安装设备,总共表达了 52 种不同的面部形状。
然后将 NeckFace 系统的性能与 iPhoneX 上的 TrueDepth 3D 摄像头进行比较,发现几乎一样准确。该团队还测试了与原始 C-Face 系统中使用的类似的颈带设备,与佩戴在上胸部的单一吊坠式设备相比,由于摄像头之间的间距更大,因此证明可能更准确。
在继续优化这项技术的同时,科学家们还设想了它的多种用途。这些可能包括虚拟现实、视频会议,在这种情况下,典型的前置摄像头是不可能的,或者在心理健康方面,它可以监控面部表情,进而监控全天波动的情绪。
“我们真的能看到你一天的情绪变化吗?” 领队张成说。“借助这项技术,我们可以拥有一个关于您全天身心状况的数据库,这意味着您可以跟踪自己的行为。而且,医生可以使用这些信息来支持决定。”