只要1台“任意触摸显示器”照相机，就能正确地开发 奈良尖端大学等
奈良先端科学技术研究生院大学的向川康博教授(信息科学)等人，日美研究小组发表了研究成果，开发出了不需要在屏幕一侧安装传感器，只需要一台照相机就可以正确触摸投影仪投影的画面的技术。 将特定种类的投影仪和照相机组合实现。 除了任意的墙壁和桌子之外，根据设定的不同，不接触墙壁，在空中也可以进行触摸操作，因此如果实用化的话，在传染病对策上似乎也是很好的。
将投影机的影像投影到墙壁等平面上已被广泛应用。 在这里，说明者直接触摸画面进行操作时，需要在墙上插入传感器，或者用照相机拍摄指尖进行信息处理。 后者可以做任何墙壁，很方便。 但是，在以往的技术中，伸出的手复盖影像，妨碍检测，而且仅用一台相机普通拍摄无法掌握三维，难以判断触摸的情况和位置。 因此，研究小组使投影仪和照相机顺利合作，克服了这样的课题。
现有技术中，从右下方延伸的真正的手被影像复盖，妨碍检测，另外影像内的手也很混乱(左)。 用1台照相机很难判断是否触摸了(奈良先端大提供)
采用了使激光从屏幕上向下移动的“激光扫描型投影仪”和传感器从上向下依次曝光的“滚动快门照相机”。 产品都在普及。 合作的话，会发生激光和曝光扫描交叉的特定距离面上的物体只能被照相机拍到的有趣现象。 2015年由另一个研究小组发表。
奈良尖端大学等集团19年宣布，通过调节投影仪和照相机的动作定时，可以在这一面相对照相机倾斜、有厚度的情况下进行拍摄。 据悉，该大学研究生辻茉佑香进一步提出将其应用于触摸传感，并与开发联系在一起。
通过该方法，例如，只有指尖来到距离墙壁几厘米的范围内时，才会映在照相机中，计算机能够判定触摸的情况和位置。 据说在实验的条件下可以以1厘米左右的精度进行调节。
触摸时只有手指映在照相机上(上)，不触摸的话什么也映不上(奈良先端大提供)
据说装置体积小，价格便宜。 由于照相机不能拍摄投影画面，所以例如投影的图像自身映出手的“刻薄”条件也没有问题。 研究小组认为，不拍摄画面在隐私方面也有意义。根据摄影范围的设定，在远离墙壁的空间也可以进行触摸操作。 向川教授说:“不用碰墙壁的好处是可以有效地应对传染病，随着新冠灾祸变得特别值得关注。”
(上)在以往的图像识别中，会误识别影像中的手。 (下)如果是新的方法，只识别真实的手指，可以确定触摸的位置。 右边的图像中浅蓝色部分是真手指(奈良先端大提供)
研究小组由奈良尖端大学、东海大学、美国亚利桑那州立大学组成。 成果刊登在美国电气信息工学杂志《IEEE访问》上，奈良尖端大学等6日发表了。 据说应用了在科学技术振兴机构( JST )战略性创造研究推进事业( CREST )的支援下取得的成果。
新闻稿
各位新闻工作者
国立大学法人 奈良尖端科学技术大学院大学
东海大学
开发可以用指尖操作投影仪投影画面的触摸传
感技术
~可以实现不直接触摸而在空中指示的应用~期待在
任何地方实现触摸显示
[摘要]
奈良尖端科学技术研究生院大学（校长:盐崎一裕），尖端科学技术研究生院信息科学领域光学媒体接口研究室的辻茉佑香（博士课程一年级），向川康弘教授，船富卓哉副教授，东海大学（校长:山田清志），信息通信学部的久保寻之讲师，亚利桑那州立大学的Suren Jayasuriya助教组成的小组共同开发了一种技术，该技术可以像智能手机一样，通过手指触摸屏幕来操作用投影仪投影在墙壁等平面上的视频。 它不仅可以在任何平面上进行触摸显示，而且可以应用于在空中操作而不直接接触投影平面的简单设备。
在这项研究中，我们将投影仪和相机结合起来，构建了一个系统，可以检测手指接近特定平面。这是一种系统，通过相机（滚动快门相机）仅拍摄触摸投影仪平面视频的手指的一部分，并通过计算机处理检测手指触摸的位置信息，并将其反映在投影视频中（见图3）。 与传统的方法不同，它不需要光源来检测手指的位置，因此它的特点是便宜，体积小。
此外，如果适当地设置感测区域，例如，可以从距离平面1-2厘米的位置进行触摸操作，并且可以应用于不直接接触屏幕的空中操作。该研究成果在国际学术期刊IEEE ACCESS（出版国:美国）上在线发表，并在Early Access上发表。
版本正在公开。
https://ieeexplore.ieee.org/document/9495800
【背景和目的】
用投影机将影像投影到地板或墙壁上，可以虚拟地将各种平面变成显示器。 然而，由于地板等原本就没有像智能手机那样的触摸传感机制，因此需要安装额外的触摸传感功能，以便直接触摸投影视频的表面进行操作。
然而，当在传统的图像处理中实现触摸感测时，投影仪的图像覆盖在手的图像上，从而妨碍检测（图1），以及触摸位置是否被触摸的一个相机图像。很难判断（图2）。
图2很难从一台相机判断是否触摸。
当计算机检测到手指时，由于图像也被投影到手上，所以难以找到作为线索的手指的颜色和形状。 此外，要区分真手和影像上的假手，即使人眼可以做到，但计算机仍很难做到。
因此，在本研究中，我们的目标是在不受投影仪图像影响的情况下，在使用普通相机的图像处理中实现触摸传感。
【解说·特征】
当您用相机拍摄场景时，它会完全捕捉到通常位于取景器范围内的场景。 因此，在本研究中，投影仪和用于拍摄手指的相机被集成在一起，并进行计算机处理，从而仅限于确定手指是否触摸所需的特定深度，倾斜度和厚度的部分。
为此使用的相机采用滚动快门的方式，可以从上到下依次对拍摄对象进行一条线的拍摄。 利用这个相机，如果只拍摄投影平面的稍微上部的部分，在与平面平行的方向上以几厘米的厚度进行拍摄的话，手指触摸的时候就会拍摄到手指的一部分，否则就不会拍摄到手指。 这允许您从一个相机中确定手指是否触摸表面（图3、4和5）。
图3触摸时拍摄手指的一部分。
图4未触摸时手指未被拍摄。
图5能够判定以往1台照相机难以进行的触摸的有无。
图6(a)投影仪映像中包含真实的手时的触摸操作的情况。 (b)(a)中使用图像识别检测手的结果。 错误地识别了影像上的手。 (c)用本研究方法拍摄的结果。 (d)用本研究的方法检测出的手指位置的结果。
在这次的研究中，由于相机不拍摄投影仪影像本身，所以即使投影仪影像中包含了真实的手，电脑也可以区分真实的手和影像中的手（图6）。 此外，由于投影视频有时会包含重要信息，因此在不拍摄投影仪视频的情况下进行触摸感测在隐私方面也是有效的。
“未来发展”
本研究认为，由于可以控制触摸感测的区域，因此可以应用于无需直接触摸平面即可在空中进行触摸操作的无触摸操作。 空中操作，蕴藏着减少人与人之间间接接触的潜力，对感染症对策也有效。
【用语解说】
①触摸传感功能:用于手指触摸操作的传感方式。 触控操作可以说是各种操作方式中最直观、最亲民的。 像智能手机的触摸屏一样，屏幕本身有触摸传感机构的电容方式最常见。
②滚动快门CMOS相机:从相机的传感器元件（图像传感器）的上部开始曝光的方式的相机。 它的特点是可以以低成本制造。
③激光扫描投影机:激光在内置的振动式小型反射镜上反射，通过对屏幕进行二维扫描来投影影像的方式的投影机。 其特点是超小型、低耗电量。