点出精彩 多点触控技术全揭秘
多点触摸技术就是指允许用户同时通过多个手指来控制图形界面的一种技术，能构成一个触摸屏（屏幕，桌面，墙壁等）或触控板，同时接受来自屏幕上多个点进行计算机的人机交互操作。与多点触摸技术相对应的当然就是单点触摸，单点触摸设备已经有很多的年头了，最早起源于20世纪70年代，小尺寸的有触摸式手机，大尺寸最常见的就是银行里的ATM机和排队查询机。
而苹果公司在iPhone上采用感应电容式触摸屏，让用户与设备的互动不在局限于一根手指，为互动触摸用户界面革命做出了不可估量的贡献。很多人以为多点触摸仅限于放大缩小功能。其实，放大缩小只是多点触摸的实际应用样例之一。有了多点触摸技术，怎么应用就可以通过无限想象来无限扩展。程序员可以把多点触摸应用到很多方面，从一定程度上改变或者创新出更多的操作方式来。
就电子产品，特别是消费类产品而言，如何将用户复杂的控制动作转变为直观、便捷且可生产的体验，是用户界面设计面临的终极挑战。用户界面设计一方面要考虑到用户视觉、听觉、味觉、嗅觉和触觉等五种感官的需求，另一方面还要考虑到用户需求对器件或系统的影响。目前市场上推出的大部分产品虽然有效，但主要都是将用户的视觉和触觉分开来处理。从计算机键盘、手机键盘、MP3播放器、家用电器甚至电视遥控器等上面的简单按钮或按键，到音量调节滑条、滚轮和跟踪板等上面更高级的单击和滚动特性，输出位置（也就是用户的输入或操控动作的结果）与用户的输入位置是截然不同的。而这种视觉和触觉的一致性正是触摸屏的基本优势所在。让视觉和触觉完全达到一致说起来简单，但做起来则不啻为一场意义深远的技术突破，其将彻底改变用户与电子产品互动的方式，因此有人将此称为用户界面的革命。
简述单点触摸、点触摸、多点触摸的关系与区别
单点触摸屏
触摸屏的功能发展由简及繁，最初的产品只支持最简单的操控，就是一个手指触摸屏幕上的一点来实现操控。比如我们每天在附件超市的POS终端机，或者在机场的check-in终端上进行的操作。以前，我们只能通过屏幕周边的机械按钮进行操控，单点触摸屏在此基础上实现了用户界面方面的一大进步。当然，机械和新型电容式触摸感应按钮在我们的家庭、办公室及其他地方无所不在：手机、固定电话、遥控器、电视、电脑及其各种外设、游戏机、电冰箱、微波炉、烤箱，以及无线电和空调等车内电子控制设备等等。现在，如下列图所示的单点触摸屏在显示屏上直接集成了用户控制界面，因此再也不需要传统的机械按钮了。
这种屏幕为用户界面带来两大好处：一是设备设计空间得到优化，特别有利于小型设备，因其能在同一区域内同时“安装”屏幕和按钮；二是由于按钮能绑定于操作系统中的任意应用，所以设备使用的“按钮”可以达到无限多个。
上述功能主要建立在电阻式触摸屏技术基础之上，在消费电子产品、机场报刊亭、食品杂货店POS终端和车载GPS系统等各种应用中都得到了广泛推广。
点触摸屏
尽管单点触摸屏和电阻式触摸屏技术很令人吃惊并颇具革命意义，但其还是有两大缺点，一是电阻式技术依赖于触摸屏的物理运动，尽管影响不大，但经过正常的磨损老化后，性能就会下降；二是这种技术只支持单点触摸，也就是一次只能用一个手指在屏幕的某个区域做单一动作。
为什么用户与设备的互动只能局限于一根手指呢？苹果公司为用户界面革命做出了不可估量的贡献，其推出的iPhone采用了感应电容式触摸屏。即使在智能电话等小型化设备中，要想充分发挥应用和操作系统的功能，也需要多个手指才能实现最佳的可用性。因为有了苹果公司，用户现在已经很难设想过去是怎么在不支持两个手指的手势动作的情况下，完成诸如下列图所示的照片缩放，以及相册、网页视图的方位改变等相关操作的。
其他技术革新者正在多种设备系统上继续沿用这种多点触摸技术，其中包括GoogleG-1和BlackberryStorm智能电话、MacBookPro和惠普touchsmart台式机和笔记本电脑、便携式媒体播放器以及其他多种应用等。
多点触摸屏
与单点触摸屏一样，识别手指方向的多点触摸屏也有一个局限，就是该技术能在屏幕上同时识别的操作点数量有限。为什么一次只能识别两个操作点呢？用户的两只手有十个手指，当用户之间彼此互动时，屏幕上会出现更多的手指。这就是识别手指位置的多点触摸概念的由来，它可以实现两个手指以上的操控。
Cypress将此技术称为“多点触控全区输入”，它进一步提升了触摸屏可靠的可用性，能满足多种特性丰富的应用需求。可靠性是指我们能以最高粒度准确捕获到屏幕上所有触点的原始数据，尽可能减少屏幕触点定位不准带来的混乱问题的能力。可用性是指众多功能强大的应用可在不同大小的屏幕上受益于双手或两个手指以上的屏幕操控的能力。3D互动游戏、键盘输入和地图操作等都是使用这种触摸屏功能的一些主要对象。
从根本上来讲，多点触控全区输入技术为设备和系统OEM厂商提供了唾手可得的所有触摸数据，帮助他们发挥创造性，以开发下一代新型实用的技术。
赛普拉斯半导体公司推出的TrueTouch触摸屏解决方案就是多点触控全区输入的一个应用实例。TrueTouch采用了赛普拉斯PSoC可编程片上系统架构，该架构集成了带有可编程模拟和数字块的8位微控制器。可实现无与伦比的灵活性和可配置性。TrueTouch解决方案的感应式电容触摸屏控制器能扩展支持各种尺寸的屏幕，可灵活支持单点触摸、识别手指方向的多点触摸和识别手指位置的多点触摸技术。TrueTouch可高度集成外部元件，而且特别适合与各种触摸屏感应器或LCD显示屏协同工作。灵活的PSoC架构使设计人员能够在产品设计的最后阶段方便地进行修改，而这是其他触摸屏产品无法做到的。
多点触控（Multi-Touch）屏幕技术发展历史
多点触控技术始于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。同年贝尔实验室发表了首份探讨触控技术的学术文献。
1984年，贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。同时上述于多伦多大学的一组开发人员终止了相关硬件技术的研发，把研发方向转移至软件及界面上，期望能接续贝尔实验室的研发工作。
1991年此项技控取得重大突破，研制出一种名为数码桌面的触屏技术， 容许使用者同时以多个指头触控及拉动触屏内的影像。
1999年，“约翰埃利亚斯”和“鲁尼韦斯特曼”生产了的多点触控产品包括iGesture板和多点触控键盘。经过多年维持专利的iGesture板和多点触控键盘。
2006年，Siggraph大会上，纽约大学的Jefferson Y Han教授向众人演示最新成果，其领导研发的新型触摸屏可由双手同时操作,并且支持多人同时操作。利用该技术，Jefferson Y Han在36英寸×27英寸大小的屏幕上，同时利用多只手指(拇指似乎还无法感应到)，在屏幕上画出了好几根线条。与普通的触摸屏技术所不同的是，它同时可以有多个触摸热点得到响应，而且响应时间非常短——小于0.1秒。
多点触摸的基本原理
传统触摸屏的本质是传感器，它由触摸检测部件和触摸屏控制器组成，常见的传感器包括电阻式和电容式触摸屏。而基于光学感应的多点触摸系统是用户通过触摸投影屏幕表面，影响光学感应成像设备的输入结果，成像设备将成像结果输入软件系统进行处理，一般经过3个步骤，首先是对原始输入图像进行包括矫正、滤波等预处理，然后通过光斑跟踪引擎对触点进行跟踪，并将其解释为各种输入状态，最后将输入位置、状态等信息发送给上层应用程序。应用程序处理结果最终被投射到显示屏幕表面上，从而与用户产生真正的所见即所得的交互效果。根据不同的光学感应原理，目前常见的多点触摸实现方式包括FTIR(受抑全内反射)、DI、LLP等技术。
多点触摸的技术特点
1、 多点触摸是在同一显示界面上的多点或多用户的交互操作模式，摒弃了键盘、鼠标的单点操作方式。
2、用户可通过双手进行单点触摸，也可以以单击、双击、平移、按压、滚动以及旋转等不同手势触摸屏幕，实现随心所欲地操控，从而更好更全面地了解对象的相关特征（文字、录像、图片、卫片、三维模拟等信息）。
3、可根据客户需求，订制相应的触摸板，触摸软件以及多媒体系统；可以与专业图形软件配合使用。
多点触摸的技术解析
识别手势方向
我们现在看到最多的是 Multi-Touch Gesture,即两个手指触摸时，可以识别到这两个手指的运动方向。但还不能判断出具体位置。可以进行缩放、平移、旋转等操作。这种多点触摸的实现方式比较简单，轴坐标方式即可实现。把 ITO 分为 X,Y 轴，可以感应到两个触摸操作，但是感应到触摸和探测到触摸的具体位置是两个概念。XY 轴方式的触摸屏可以探测到第 2 个触摸，但是无法了解第二个触摸的确切位置。单一触摸在每个轴上产生一个单一的最大值，从而断定触摸的位置，如果有第二个手指触摸屏面，在每个轴上就会有两个最大值。这两个最大值可以由两组不同的触摸来产生，于是系统就无法准确判断了。有的系统引入时序来进行判断，假设两个手指不是同时放上去的，但是，总有同时触碰的情况，这时，系统就无法猜测了，我们可以把并不是真正触摸的点叫做"鬼点。
识别手指位置
Multi-Touch All-Point 是近期比较流行的话题。其可以识别到触摸点的具体位置。即没有"鬼 点"的现象。多点触摸识别位置可以应用于任何触摸手势的检测，,可以检测到双手十个手指的同时触摸，也允许其他非手指触摸形式，比如手掌、脸、拳头等，甚至戴手套也可以。它是最人性化的人机接口方式，很适合多手同时操作的应用，比如游戏控制。Multi-Touch All-Point 的扫描方式是每行和每列交叉点都需单独扫描检测，扫描次数是行数和列数的乘积。例如，,一个 10 根行线，15 根列线所构成的触摸屏，使用Multi-Touch Gesture 的轴坐标方式，需要扫描的次数为 25 次，而多点触摸识别位置方式则需要 150 次。
Multi-Touch All-Point 基于互电容的检测方式,而不是自电容，自电容检测的是每个感应单元的电容(也就是寄生电容 Cp)的变化，有手指存在时寄生电容会增加，从而判断有触摸存在，而互电容是检测行列交叉处的互电容(也就是耦合电容 Cm)的变化，当行列交叉通过时，行列之间会产生互电容(包括:行列感应单元之间的边缘电容，行列交叉重叠处产生的耦合电容)，有手指存在时互电容会减小，就可以判断触摸存在,并且准确判断每一个触摸点位置。
多点触控技术种类
基于传感器的Multi-Touch系统
许多Multi-Touch装置基于传感器技术，这些传感器能同时检测到多个接触点，从而识别多个点的输入。和基于计算机视觉的Multi-Touch系统相比，基于传感器的Multi-Touch系统一般不能从现成的组件来组装，搭建的成本较高。而且环境温度、湿度的会影响到系统的性能。但是由于可以把传感器集成在接触表面上，可用于手机、Pads等屏幕较小的手持设备上。
1985年提出的FMTSID(Fast Multiple-Touch-Sensitive Input Device)多点触控装置是最早的基于传感器的多点触控装置之一。该系统由一个传感器矩阵面板、行列选择寄存器、A/D转换器和一个控制CPU组成。通过测量电容的改变，来检测手指的触摸点。FMTSID可以精确的检测多个手指的触摸位置，而且还可以检测出手指的接触压力。
三菱电子研究实验室的Dietz等在2001年提出了DiamondTouch（DT），是一个支持多用户的前置摄像头的多点触控系统。桌面是投影的屏幕，同时也是接触屏。触屏下面镶嵌大量的触角，每一个触角传递一个特定的信号，每一个使用者有独立的接收器，利用使用者的导电性，通过其座椅将信号传递。当使用者接触面板，在接触点附近的触角在使用者的身体和接收器之间传递微弱的信号。这种独特的接触技术支持单一使用者的多种接触（例如双手接触的动作），还能区别不同使用者之间的同时输入（多达4个）而互不干扰。该系统还可以检测接触点的压力，支持丰富的手势，不受外来物体的干扰。和许多的多点触控技术一样，DT不能区分来自同一个用户的多个接触点是那个手指的。DiamondTouch存在如下的缺点：只能检测到“touch”动作，而不能识别放在他表面上的物体；DT则从桌子上方投射图像，因此使用的时候，人的肢体遮挡显示屏，从而带来操作上的不变。
根据FMTSID原理，Sony计算机科学实验室的Rekimoto等在2002年提出具有更高分辨率的SmartSkin多点触控系统，该系统由网格状发射器/接收器组成。
SmartSkin可以不仅可以识别多个手的接触位置和它们的形状，而且通过电容感应和网格式的天线来计算手和接触面的距离。和DiamondTouch相比，SmartSkin能够返回更加丰富的接触信息（如手指的接触形状）。这激发了Cao等人利用手指的接触形状来设计新颖的交互方式。
Apple在2007年推出的iPhone手机，是第一个支持多点触控的移动设备。iPhone使用电容耦合来感应多个触控点。iPhone能够实现具有有限维度的多点触控，允许人们以徒手的方式进行操作，并且可以通过虚拟的键盘进行打字，拨电话号码以及由Krueger最先介绍的“pinching”技术（用一只手的大拇指和食指实现对地图和照片的缩放操作）。这是鼠标、键盘这些传统的输入方式所办不到的，iPhone的这些功能让人们耳目一新。随着Apple公布了iPhone SDK，引起了研究人员对于Multi-touch技术在手持设备中的应用研究的极大兴趣。
基于计算机视觉的Multi-Touch系统
由于计算机成本的下降和性能的提高，计算机视觉技术得到了很大的进步，这使我们能够实时、高速处理视频信号，这足以满足实时交互和人机交互的要求。由此研究人员提出了许多以计算机视觉为核心的Multi-Touch系统。
完全基于计算机视觉的多点触控系统
完全基于计算机视觉的多点触控系统仅使用图像处理技术来识别接触点及其接触的位置。采用该技术的多点触控系统可以在任何平整的表面使用，而不需要专门的显示设备，具有很高的便携性。但这种便携性是以牺牲选择精度为代价的。
Pinhanez等人设计了一个完全基于计算机视觉的触摸显示系统——Everywhere Display[4]。该系统使用一个摄像头和投影仪通过图像处理技术把一个普通的屏幕变成可以触控互动的显示屏幕。虽然Pinhanez在文章中没有提供任何接触检测算法的选择精度的数据，但很明显为了便携性而牺牲了选择的精度。比起其它Multi-touch技术来说，Everywhere Display要精确确定手指触摸显示屏的时间和时长很困难。
Microsoft的Wilson等提出的PlayAnywhere系统]是一个相对比较紧凑和具有较好的移动性的前置摄像头的桌面交互系统。Wilson为基于计算机视觉的前置摄像头桌面交互系统提出了多种图像处理技术，最显著的是基于阴影的触摸检测算法，该算法能够准确、可靠地检测触摸事件和它们的接触位置。但Agarwal等指出，该算法只有在手指的指向是垂直的情况下效果才是最好的，这限制了该系统在协作环境下的应用。
Agarwal等人根据立体图像和机器学习技术开发了计算机视觉算法，该算法改善了基于计算机视觉的多点交互桌面的选择精度（精确度2~3mm），能够准确地检测指尖的触摸事件，其准确率达到了98.48%，这和以前的技术级相比（之前的选择精度一般是cm级别的），有了很大的提高。
基于计算机视觉和光学的多点触控系统
基于计算机视觉和光学的Multi-touch技术搭建起来的设备具有很好的扩展性，而且成本相对较低，但其体积一般都比较大。下面介绍两种基于计算机视觉和光学的Multi-touch系统。
1、受抑全内反射技术（FTIR）
FTIR（Frustrated TotalInternal Reflection）是一种光学现象，LED(发光二极管)发出的光束从触摸屏截面照向屏幕的表面后，将产生反射。如果屏幕表层是空气，当入射光的角度满足一定条件时，光就会在屏幕表面完全反射。但是如果有个折射率比较高的物质(例如手指)压住丙烯酸材料面板，屏幕表面全反射的条件就会被打破，部分光束透过表面，投射到手指表面。凹凸不平的手指表面导致光束产生散射(漫反射)，散射光透过触摸屏被架设在亚克力板面下面的红外摄像头读取，通过对应的软件（Touchlib）就可以检测到相应的触摸信息。Touchlib 是NUI Group为多点触控系统开发的一套软件库，它实现了计算机视觉大部分算法。这种技术使用简单的Blob检测算法就能检测多个触摸点和接触的位置。
实际上，FTIR原理很早就被用来生产一些输入设备，例如指纹阅读器。Jefferson首次利用FTIR原理搭建了一个低成本的多点触摸显示屏，大大降低了Multi-touch技术的研究成本。根据Jefferson的方法，我们搭建了一个60cmx45cm的Multi-touch平台，总共花费不到500元。
2、散射光照明技术（DI）
DI（DiffusedIllumination）多点触摸技术指红外光从底部照射在触摸屏幕上，将漫反射幕放在触摸屏幕的上面或者底部，当物体触摸屏幕的时候会反射比漫反射幕更多的红外光，然后被摄像头读取，通过Touchlib就可以检测到相应的触摸信息。用这个漫反射幕也可以用来检测悬停和在界面上的物体。
DI技术和FTIR相比，有一定的优势，DI系统可以检测物体的悬停状态（系统能识别手或者手指在屏幕上移动或者移近屏幕，而不需要真正触摸）。另外，基于DI的系统依靠“看”什么在屏幕上，而不是检测触摸本身，因此，DI能够识别和检测物体和物体的标记。但是，和FTIR中使用的简单的Blob跟踪检测算法相比，DI使用的图像处理技术比较复杂。此外，DI系统容易受到外界光线的影响。
Microsoft的 Surface 是基于背面DI (Diffuse Illumination)技术的多点触控系统。Surface内置的摄像头可以感知触摸和姿势等用户输入（手指在屏幕上移动），还能够捕捉识别放在上面的物体所需信息。这些信息发送到普通类型的Windows PC进行处理，处理结果由数字光处理（DLP）投影仪返回给Surface。Microsoft Surface能感应多个手指和手，能识别多种物体和它们在表面上的位置。
还有其他一些基于计算机视觉和光学的Multi-touch系统，例如：Alex 提出的激光平面多点触摸技术（LLP）；由Nima提出发光二极管平面多点触摸技术（LED-LP）；由Tim Roth 提出的散射光平面多点触摸技术（DSI）。这些技术都可以用来搭建Multi-touch设备。
多点触控的关键技术
Multi-touch技术可简单的分解为两部：硬件和软件。硬件完成信息的采集，软件完成信息的分析判断，最终转换成具体的用户命令。由此可以认为Multi-touch的关键技术应包括以下几个主要的部分：
Multi-touch硬件平台
如本文前面介绍的硬件平台，这些平台各有各的优缺点，了解这些平台的组成和原理的意义在于如何搭建成本更加低廉、安装移植更加方便、目标选择更加精确的交互平台和研究一些与平台无关的交互技术。
精度选择技术
精度选择技术实际上也就是触点的检测跟踪，如何准确地跟踪和定位触点，实现手势的自由交互有很大的意义。尤其，当目标尺寸很小时，我们的手指如何准确定位到我们想要的目标上，这也是一个值得深入研究的内容。
身份识别技术
现有的Multi-touch技术检测到的触点大都不携带用户信息。目前可以识别用户身份的技术有DiamondTouch（最多可以识别4个用户）。文献[30]提出的利用手指指向在FTIR平台上实现的一种轻量级的用户身份识别技术。研究识别触点来自哪个用户，更进一步，这些触点来自用户的那只手，还有就是哪些触点只对特定的用户响应等等，这对于大尺寸的交互区上的多用户协同工作具有重要的应用价值。
双手交互技术
双手操作是人在日常生活中最常用操作方式，将这些自然操作应用与人机交互过程可以大大减轻操作者的认知负担，形成很自然的“意识～动作”，提高交互操作的效率，我们认为将是以后的一个研究重点。
多点触控技术的应用
多点触控属于感应式互动投影系统主要针对新型多媒体内容展示而设计。集合新的创意、新的表现形式、新的媒体平台，配合普通桌面显示绚丽的交互画面，令用户在触觉、视觉、听觉以及人机交互感知方面获得极大冲击力。用户站在背投屏幕的面前，通过手掌点击和拖动等方式与多媒体内容进行互动。
该系统的开发基于先进的计算机视觉技术和投影显示技术，将用户的自然运动与可交互的多媒体内容相结合，创造了一种神奇清新的互动体验，系统交互所产生的绚丽效果可以有效的吸引目标人群的注意。使用本系统，用户可以使用双手或肢体与多媒体内容进行任意的互动，互动过程中，用户可以收获感官的新奇刺激，并对所交互的内容留下深刻的印象。
而多点触控系大屏幕边缘融合系统包含一组渲染子系统和一组图像采集子系统。图像采集子系统的硬件主要包含一个红外信号感应器，其功能是捕捉观展者的动作对其进行分析与处理，并将处理结果发送给渲染服务器。渲染子系统主要包含一台投影仪，其功能是接收图像采集子系统的处理结果，生成相应的图像通过投影仪显示到屏幕上，从而实现最自然的展示效果。所有的图像采集处理/渲染工作均在工作站上完成。这样的一来，多点平台的应用就不在被投影屏幕尺寸规格所限制，拥有更强大的展示方式。
多点触控技术，能构成一个触摸屏（屏幕，桌面，墙壁等）或触控板，都能够同时接受来自屏幕上多个点的输入信息。在与传统的单点触摸屏技术相比，已经突破了传统的单一的鼠标左键功能，不在是单调的点击，可以实现多人一起操作，拥有更华丽的操作模式和丰富的素材内容。
本篇文章为传感器技术平台原创文章，转载需联系我们授权！未经允许转载我们将进行投诉！