查看原文
其他

眼球追踪系统:使用普通手机摄像头

2016-06-17 John IntelligentThings

戳蓝色字关注IntelligentThings




(图片来源于:Christine Daniloff/麻省理工学院)


引言


过去40年以来,眼球追踪技术(可以判断出什么样的视觉场景是吸引眼球的),广泛应用于心理学实验和市场调查。但是,阻碍这项技术,成为消费者应用的原因,是需要昂贵的硬件。麻省理工学院计算机科学和人工智能研究室,和乔治亚大学的研究人员,希望改变这个情况。他们使用一个软件,让任何的智能手机都能变成眼球追踪设备。他们在一项论文中描述了这个新系统。


简介


为了让现有的眼球追踪技术的应用更普遍,系统使用新的计算机接口,来帮助检查早期神经系统疾病或精神疾病的迹象。


“这个领域在鸡和蛋的循环中,一直有点停滞,”Aditya Khosla,麻省理工大学的一位电气工程与计算机科学专业的毕业生,这项论文的第一合著者说,“因为很少人具有外部设备,所以很难想到给他们开发应用。因为没有应用,就很难让人们有动机去买设备。我们相信我们可以打破这个循环,尝试构建一个基于单移动设备的眼球追踪系统,只需要使用前置摄像头。”


Khosla和他的同事,第一合著者乔治亚大学的Kyle Krafka,麻省理工大学的电子工程和计算机科学系的教授Wojciech Matusik 和 Antonio Torralba,以及其他三个人,构建了这套眼球追踪系统。他们使用机器学习技术,计算机使用这个技术来学习处理任务,在一大堆用于训练的例子中寻找模型。


研究的价值


Khosla和他同时之前研究的优势在于,他们必须处理的数据量。目前,Khoslas或,他们的训练集合包括1500个移动设备用户的注视模式例子。之前,训练用于实验的研究系统的最大数据集只有50个用户。


为了组成数据集,“大多数其他研究组倾向于把人们召集进实验室,”Khosla说,“这很难到达那个规模。召集50个人本身来说就是一个十分沉闷的过程。但是,我们相信我们可以通过众包来达成目的。 ”


在论文中,研究人员报告了第一轮的实验,使用了从800个移动设备的用户身上获取的训练数据。在这个基础上,他们能够将系统的误差幅度控制在1.5厘米,是之前实验的两倍提高。


自从论文发表起,他们已经获取了另外700人的数据,并且附加的训练数据将误差幅度减少了差不多1厘米。


为了了解更大的训练集合石如何提高性能的,研究人员使用不同大小的数据子集一次一次的训练他们的系统。这些实验表明,10000个训练样例差不多,把误差幅度降低至半厘米。


为了搜集他们的训练样例 ,研究人员在苹果的iOS操作系统上,开发了一个简单的设备应用程序。应用程序在设备屏幕上的某个地方闪烁一个小点,吸引用户的注意力,然后使用一个“R”或者“L”代替,指示用户敲击屏幕的左侧或者右侧正确。正确的敲击,让用户能够把他或者她的注意力转移到目标位置。在这个过程中,设备的摄像头持续捕捉用户的脸部。


研究人员通过亚马逊的土耳其机器人众包网址雇佣应用的用户,给他们每人支付了一点点费用,来让他们进行敲击。这个数据集包括,平均每个用户1600张图片。


缩小神经网络


研究人员的机器学习系统是一个神经网络。它是一个软件抽象,可以被当成非常简单的处理器,组成的离散层巨型网络。训练修改了每个单独的处理器的设置,所以数据项目,例如,一个张移动设备用户的静止图片,被送到底层,可以被随后的层处理。顶层的输出,将是一个计算问题的解决方案,例如,对于用户目光方向的评估。


神经网络很巨大,然而,麻省理工学院和乔治亚大学的研究人员,使用了一种叫做“黑暗知识 ”的技术,来缩小他们。黑暗知识,包括整个训练网络的输出,一般接近于解决方案,并且使用那些和真实方案一样的,来训练更小的神经网络。技术将研究人员的网络减少了差不多80%,让他们能够在智能手机上更加的有效。通过减少的网络,眼球追踪系统可以每秒差多操作15帧数据,所以足够快,能记录短暂的一瞥。


未来展望


“在许多案例中,如果你要在市场上,做计算机版本的用户调查。在开发的新用户接口中,眼球追踪是人们很有兴趣的,但是没有被真正实现的。”康乃尔大学计算机科学专业的助理教授Noah Snavely说。“你需要一个昂贵的设备,或者必须被精确校准,才能工作。所以要在实现在任何人的设备上,都可以工作的方案,看上去十分引人注目。从我看到的时候起,他们得到的精度,似乎在你感兴趣的东西范围之内。


“一部分的成就是他们已经创建了,这种搜集数据和数据集自身的办法。”Snavely补充道,“他们做了所有的外勤工作,可以让其他人对这个问题感兴趣。通过社区开展这项工作,将提高的更快。”





如果大家有什么关于物联网,智能硬件,创新方向的技术或者产品问题想了,请写评论告诉IntelligentThings,我会定期参看大家的问题,并选择一些来回答。





您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存