智能手机已成为生活中必不可少的交流媒介，触摸屏代替按键成为主要交互方式。用户通过触摸屏幕对应位置完成点击、返回、输入等操作，打破原有按键操作模式局限性。智能手机的交互方式引发了一批学者的极大关注，他们在分析传统手机交互基础上，对新方式进行了重新研究与定义，以期提高智能手机的操作便捷度。
CHI（ACM Conference on Human Factors in Computing Systems）是计算机人机交互领域三大顶级会议之一。CHI2019于5月4号至9号在英国格拉斯哥举行，总投稿2958篇，接收703篇，录用率23.8%，其中多篇论文探讨手机交互。本文选取收录于CHI2019的论文一篇，对手机交互进行简单介绍。
论文题目 HandSee: Enabling Full Hand Interaction on Smartphone with Front Camera-based Stereo Vision，会议 Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems，作者 Chun Yu, Xiaoying Wei, Shubh Vachher, Yue Qin, Chen Liang, Yueting Weng, Yizheng Gu, Yuanchun Shi。
HandSee是一份来自清华大学人机交互实验室，探索若干种全新手机交互方式的研究工作。研究者在手机摄像头上添加一个直角棱镜，以获得靠近屏幕部分的立体图像。通过分析该图像，获取用户的手势以及持握状态，包括手指的3D位置，持握姿势等信息。根据这些信息，研究者可以定义若干种手机的新交互方式。
实验设置：在手机摄像头上方添加一个斜边为反射镜的直角三角棱镜，手机便可捕获到宽约72度，高于屏幕35度视角的图像，足以覆盖正常使用和持握手机的手指宽度。由于反射镜的布置，仅仅使用一个手机摄像头便可得到从两个角度观察到的不同图像。数据处理：由于反射问题，两个图像并不完全等价，原始图像在中间偏下的部分显示会较暗。研究者对此进行了亮度校准，以消除对后续图像处理带来的影响。
随后，对于已得的两个近似镜像的图像，工作组从距离分析与图像处理两部分入手，对图像进行语义分割获取手指的信息。距离分析利用了图像的“双目”特性。考虑到摄像头位置不同，获得图像具有微小差异，研究者通过棋盘校准的方式，估测出图像焦距、光学中心以及畸变系数，进而通过半全局匹配算法对每个像素点测量出深度，并绘制深度图。手指相比背景距离摄像头更加接近，于是通过设置距离阈值可以过滤掉背景部分。
图像处理部分对手指的图像进行语义分割，由于目标仅是手指，故可使用固定的色彩与饱和度的参数区间对原始图像的像素点进行筛选。但由于这样的筛选极大程度上受到用户手部肤色及光照条件影响，该项目则使用卷积神经网络（CNN）估计出在一个时间段内色彩与饱和度上下界，以CNN实时输出颜色与饱和度区间筛选手指，以应对环境变化时系统对识别产生的影响。
综合深度筛选与图像筛选两部分工作，可以帮助研究者得到更加精确的手指语义分割。系统对于得到的四通道图像进行了后续处理，完成了指尖位置检测、持握姿势检测、手指检测等工作。手机交互：手机系统得到了更加丰富的信息，可以用作全新的交互。HandSee增加并定义了三大类交互方式：触碰手指交互、持握手交互、双手交互。其中双手交互突破了传统的手与手机的交互，具有很强的创新性。
接下来本文将使用文字配合图片的方式对这些交互场景进行描述。触碰手指交互：HandSee通过手指与其位置识别增强现有触碰交互。在将手机屏幕作为画板应用的基础上，HandSee通过手指识别，将不同手指应用为不同绘画工具（画笔、橡皮等），并可通过手指的倾斜角度调整画笔粗细。此交互方式免去了传统方式中对于绘画工具与其参数的选择。HandSee将手机交互从屏幕本身扩展到屏幕之外。
例如，把手机放在桌子上，用户可以在手机底端的桌面部分与手机交互，在桌面上用双手拖拽便可缩放手机显示内容。此外，屏幕外的交互也可以大大提升游戏体验，拇指与食指捏紧，通过变换角度和与屏幕的距离便可调整拉弹弓的方向和力度。持握手交互：HandSee通过检测用户持握手机所用的手指推测其持握姿势，根据握姿调整手机的界面与应用。
比如拍照时用户双手横握手机，同时双手大拇指位于屏幕同侧，其他手指位于另一侧，HandSee检测此握姿便可自动调出摄影软件以节省手动选择App的时间。HandSee也可以将持握手动作作为手机的输入。当用户单手竖握手机时，大拇指位于屏幕一侧，难以够到另一侧，用户不必改变握姿，仅通过伸长食指就可选择另一侧的栏目。双手交互：当用户一手持握手机另一手触摸屏幕时，可以将持握手作为新的输入。
再考虑画板的应用，拇指以外的那些持握手指可以作为软件按键选项用于选择画笔的参数。或者将持握手的拇指横放在屏幕上，另一手在上面滑动便可将其作为一个线性的输入。HandSee可检测并定义双手拇指碰触的操作。在进行键盘输入时，用户往往双手持握手机并使用两个大拇指敲击屏幕。
用户在一个屏幕中输入信息时，倘若需要参考前一个屏幕的信息，用户便可以通过触碰两个大拇指以临时调出前一个屏幕作为参考，松开大拇指即可回到当前界面继续打字。用户实验：为了验证这些应用的可用性，12名实验者进行了以上9种手机交互的用户实验，用户在评分和主观问题上都给出了非常积极的评价。评分表明这些交互方式非常便捷，易于理解，使用起来更加有趣，用户还表示非常希望在将来的手机上能够用到此类交互方式。