杜克大学的计算机工程师开发了虚拟眼睛，可以准确地模拟人类看待世界的方式，以供公司训练虚拟现实和增强现实程序。该程序简称为EyeSyn，将帮助开发人员为快速扩展的虚拟世界创建应用程序，同时保护用户数据。
结果已被接受，并将在2022年5月4日至6日举行的传感器网络信息处理国际会议(IPSN)上公布，该会议是网络传感和控制研究的领先年度论坛。
杜克大学北电网络电气与计算机工程助理教授MariaGorlatova说：“如果你有兴趣通过单独看一个人的眼睛来判断一个人是否正在阅读漫画书或高级文学作品，那么你可以做到这一点。”
Gorlatova补充说：“但训练这种算法需要数百名佩戴耳机的人一次数小时的数据。”“我们希望开发的软件不仅可以减少收集此类数据带来的隐私问题，还可以让没有这些资源水平的小公司进入元界游戏。”
将眼睛描述为灵魂之窗的诗意见解至少从圣经时代就被重复了，这是有充分理由的：我们的眼睛移动和瞳孔扩张的微小动作提供了惊人的信息量。人眼可以揭示我们是无聊还是兴奋，注意力集中在哪里，我们在特定任务上是专家还是新手，或者我们是否能流利地使用特定语言。
“你优先考虑你的愿景的地方也说明了你作为一个人，”Gorlatova说。“它可能会无意中泄露性别和种族偏见、我们不想让别人知道的兴趣，以及我们甚至可能不知道自己的信息。”
眼球运动数据对于在虚拟世界中构建平台和软件的公司来说非常宝贵。例如，通过阅读用户的眼睛，开发人员可以根据参与响应定制内容或降低周边视觉的分辨率以节省计算能力。
由于具有如此广泛的复杂性，创建模拟普通人如何响应各种刺激的虚拟眼睛听起来像是一项艰巨的任务。为了攀登这座山，Gorlatova和她的团队——包括前博士后助理、现为荷兰代尔夫特理工大学助理教授、现任博士后的兰国豪。学生TimScargill——深入研究探索人类如何看待世界和处理视觉信息的认知科学文献。
例如，当一个人在看某人说话时，他们的眼睛会在该人的眼睛、鼻子和嘴巴之间交替出现不同的时间。在开发EyeSyn时，研究人员创建了一个模型，该模型可以提取扬声器上这些特征的位置，并对他们的虚拟眼睛进行编程，以统计模拟专注于每个区域的时间。
“如果你给EyeSyn提供很多不同的输入并运行足够多的时间，你将创建一个足够大的合成眼球运动数据集，可以为一个新程序训练一个(机器学习)分类器，”Gorlatova说。
为了测试他们合成眼睛的准确性，研究人员求助于公开数据。他们首先让眼睛“观看”安东尼·福奇博士在新闻发布会上向媒体发表讲话的视频，并将其与实际观众眼球运动的数据进行比较。他们还将他们的合成眼睛看艺术的虚拟数据集与从浏览虚拟艺术博物馆的人收集的实际数据集进行了比较。结果表明，EyeSyn能够紧密匹配实际注视信号的不同模式，并模拟不同人眼睛的不同反应方式。
根据Gorlatova的说法，这种性能水平足以让公司将其用作训练新元界平台和软件的基准。有了基本的能力水平，商业软件就可以在与特定用户交互后通过个性化其算法来获得更好的结果。
“单独的合成数据并不完美，但它是一个很好的起点，”Gorlatova说。“较小的公司可以使用它，而不是花费时间和金钱来尝试建立自己的真实世界数据集(与人类受试者)。而且由于算法的个性化可以在本地系统上完成，人们不必担心关于他们的私人眼球运动数据成为大型数据库的一部分。”