智能手机：普适感知与应用

陈龙彪，李石坚，潘纲(浙江大学计算机科学与技术学院,浙江杭州310027)

摘要：随着移动互联网的普及和传感技术的发展，以智能手机为中心的感知应用逐渐兴起，基于移动感知的健康、医疗、生活、交通、教育和娱乐应用层出不穷。本文从智能手机感知的硬件基础、智能手机可感知的信息、智能手机感知的应用等方面对智能手机感知与应用的研究进展进行了阐述与分析。

关键词：普适计算，智能手机，感知技术

1 引言

随着移动互联网、物联网和社交网络的发展，智能手机正成为“人–物–机“三元世界相互沟通和融合的门户。截止2012年底，全球智能手机用户数已突破10亿。在这一背景下，智能手机已经从单纯的计算通讯设备，进化成为一种集计算、感知与通讯为一体的便携式个人智能终端。伴随着用户与终端的紧密耦合，越来越多的上下文相关服务迅猛发展，各种新的人机交互方式层出不穷。为满足这一用户需求，越来越多的传感器件和传感技术被运用到智能手机上，催生了一系列基于智能手机感知的应用，并掀起了移动感知的研究热潮。

2 智能手机感知的硬件基础

为了增强用户交互体验和提供位置服务，智能手机内置了种类繁多的传感器；同时，越来越多的外置传感设备也能通过无线网络或有线接口与智能手机相连，使得智能手机成为普适感知的重要平台。以下将分别介绍常用的智能手机内置传感器和外接传感装置，并着重介绍一些有代表性的硬件设备。

2.1智能手机的内置传感器

表1列举了目前主流智能手机平台上搭载的传感器及其参数。同时，一些移动设备的必备组件（如麦克风和摄像头）也提供了感知周围信号的功能，因此在本文中也将其归类为内置传感器。

表1 智能手机上的传感器

 2.2外接式传感装置

随着传感技术的进步，越来越多的微型可穿戴传感装置不断涌现。这些传感装置在用户行为感知、健康护理和自然人机交互方面具有很强的优势，能有效弥补智能手机内置传感器的不足。表2列举了一些常见的外接传感设备及代表性应用。

表2 可连接到智能手机的传感设备

3 智能手机可感知的信息

利用上述传感器和传感设备，智能手机可以感知到各种各样的信号，为上层应用提供丰富的情境信息。在此基础上，我们对这些感知信号进行分类和归纳，提出以下八类围绕用户自身的感知内容。

3.1位置感知

位置信息包含了智能手机所处的空间坐标及其所对应的语义信息，而位置感知为移动互联网中基于位置的服务提供了基础。下面将介绍智能手机的物理位置感知和语义位置感知。

智能手机的物理定位技术非常丰富。在室外环境下，主要利用卫星定位技术确定智能手机在空间中的绝对位置，其中广泛使用的GPS定位精度可达到3-5米；在室内环境中，则主要使用蓝牙、WLAN或超宽带（Ultra-wideband,UWB）等无线信号进行智能手机室内定位，其中WLAN定位技术近年来受到了广泛研究，例如Bahl等人的RADAR系统通过匹配移动设备所在位置的信号特征来确定其位置，定位精度可达到5米。

物理位置描述了用户的绝对空间坐标，但难以被位置服务理解和使用。为此，Pradhan等人提出了语义位置的概念，用于描述位置的名称和功能等属性。语义位置可以通过多种方式得到。Liu等人通过检测用户在特定位置的活动规律，并结合用户的地址簿、日程安排等信息，推断出该位置的语义属性；而Azizyan等人提出的SurroundSense则使用所在位置的环境光、地板颜色、Wi-Fi信息等生成环境指纹，从而识别该位置的功能属性。

3.2姿态感知

人的姿态动作往往蕴含着丰富的意图信息。与传统的人机交互方式相比，姿态控制和交互更为直接、自然。以下着重介绍智能手机上的手势感知和肢体感知。

利用智能手机内置的加速度传感器、陀螺仪，以及外接的动作传感设备，可以进行手势感知和识别。例如LeapMotion1通过红外摄像头对手指进行跟踪，可以精准地识别其工作区间内的手势动作；MYO腕带2
则通过检测手势变化时的肌肉放电特征来识别不同的手势。

随着运动传感和三维视觉技术的发展，姿态感知也日渐成熟。体感控制器Kinect则通过红外摄像头获得深度信息，并结合摄像头建立人体三维模型，从而更准确地捕捉肢体动作；智能腕带Amiigo则结合腕带和鞋夹上的传感器来识别肢体的屈伸、跳起、俯卧等动作。

3.3行为感知

用户行为包含了丰富的上下文情境信息。短时间内，用户行为反映的是个体当前的活动状态和意图；长期而言，用户行为特征则反映了不同个体的喜好和习惯。因此，对用户行为的感知是提供个性化服务的重要基础。

利用智能手机的内置加速度传感器可以识别不同的用户行为。Brezmes等人通过对每个个体的行为特征分别进行建模识别，可以区分六种不同的活动类别；Miluzzo等人提出的CenceMe在动作识别的基础上，结合其他传感器数据，可以提供更高层的行为识别，例如开会、聚会或跳舞等。

另一方面，利用可穿戴的运动传感设备能更精确地进行行为感知。其中，Gyorbiro 等人提出的MotionBand腕带式传感器通过佩带在腕部、脚踝和髋部的三个加速度传感器，可以识别用户的六种不同行为；Nike公司的FuelBand腕带则结合智能手机对用户的运动行为进行分析，从而激励用户进行锻炼。

3.4身份感知

身份信息是个体的唯一标识，记载了个体的基本信息、习惯和偏好等其他特征。在识别用户身份信息的基础上，智能手机可以提供个性化和自适应的服务。

利用NFC标签可以存储结构化的个人身份信息（例如vCard格式），并通过带有NFC芯片的智能手机接触读取；个体身份信息还可以通过人脸、语音和动作等生物特征被识别。例如，Ng等人在智能手机上实现了实时人脸识别；而 SpeakerSense系统可以实时识别会话时说话人的身份；浙江大学的GaitPrint通过多个加速度传感器感知人的步态，可以识别30个不同的个体。

另一方面，智能手机本身也携带着越来越多的用户个人信息，已有一些研究尝试利用智能手机实现用户身份的自动鉴权。例如，复旦大学的SmartID使用智能手机存储用户的个人身份和登录凭证，从而完成身份识别、自动登录和自动锁定等功能；一些汽车厂商也已经开始将车主信息置入智能手机，从而可以通过NFC芯片接触汽车来解锁汽车车门。

3.5生理信号感知

心率、血压、体温等生理信号反映了人类生命活动的状态。通过智能手机对上述生理信号进行感知、汇总和处理，并与远程医疗服务相连接，有助于降低医疗成本，实现无处不在的普适健康理念。

智能手机并不携带专门的生理信号传感器，因此主要通过外接的生理传感设备进行感知。例如，Gay等人提出的个人健康监护系统通过蓝牙将智能手机和便携式心电图仪、血压计、体重计等仪器连接起来，在智能手机上实时显示用户的生理数据；Jovanov等人则进一步提出了无线体域网（WirelessBodyAreaNetwork,WBAN）概念，即通过蓝牙、Zigbee等无线网络将用户身上的各种生理监测传感装置与智能手机连接成为网络，通过智能手机采集、分析和汇总生理健康数据。

3.6脑电信号感知

大脑是人类思维活动的中枢，脑电信号则是由大脑皮层活动产生的生物电信号。通过脑机接口（Brain-ComputerInterface,BCI）可以感知大脑活动的电位特征，从而对人类的思维活动进行认知。与智能手机相结合，脑电信号可以用于提供更直接的人机交互方式。

目前市场上已经出现了一些低成本、便携式的头戴式脑电信号采集设备，可以粗略地检测出大脑的放松程度（attention）和专注程度（meditation）等活动状态；而通过使用多个电极同时采集大脑不同位置的脑电信号，可以获得更丰富的脑电特征，例如事件相关电位中的P300信号。在智能手机上，一个典型的例子是Campbell等人提出的NeuroPhone。NeuroPhone通过检测P300电位来操控手机进行拨号，展示了脑机交互的初步应用。未来，脑电信号将可用于更复杂的人机交互和协作，甚至用户意图识别。

3.7情感感知

人的情感状态反映了个体对外在环境的主观感受，并通过人的语音、表情甚至大脑活动信号表现出来。利用这些情感特征，智能手机可以感知和理解用户的情感变化，从而自适应地选择合适的时间和场所提供应用和服务。

声学研究表明人类情感状态会影响说话时的声学特征，例如语速快慢、声音强度和音调变化。Rachuri等人的EmotionSense利用智能手机对会话状态下的语音信号进行分析，可以识别不同用户、不同活动场景下的情感特征和变化。

大脑作为人的情感中枢，其活动信号也可以用于情感状态的识别。通过fMRI技术对不同情感状态下的大脑皮层活动进行造影和分析，可以发现不同位置的皮层活动与对应的情感状态相关；通过提取大脑多个区域的脑电信号特征，则可以实现对多种基本情感的识别和分类[30,31]。

3.8社会关系感知

社会关系反映了个人与他人、群体之间的联系，既包括真实空间中的联系（例如好友和同事），也包括虚拟空间中的联系（例如如社交网络中的联系人和群组）。借助前述各种智能手机感知手段，可以从社会活动中发现用户之间的社会交互特征和规律，进而理解用户的社会关系。

通过移动设备组成的具有交互性和参与性的感知网络，可以对群体信息进行收集、分析和共享，亦即参与感知（ParticipatorySensing）的概念。例如，Miluzzo等人提出的CenceMe系统能将智能手机感知到的个人活动、位置和习惯爱好等信息自动发布到社交网络中，从而可以通过分析发现网络中的潜在社会关系；浙江大学的SoPhoNet通过识别同一活动中出现的智能手机蓝牙、Wi-Fi和位置等信息，自动发现参与共同活动的用户群。

4 智能手机感知的应用

随着智能手机感知能力、计算能力和通讯能力的不断增强，基于移动感知的应用越来越受到关注。这些应用或直接访问传感器硬件，或间接通过传感技术获得情境信息，为用户带来了自然的交互体验和智能化的服务。以下将从健康生活方式、普适医疗护理、智能家居环境、智能交通出行、自然娱乐体验和移动教育协作等六个方面对这些应用进行阐述。

4.1健康生活方式

随着生活节奏的加快，熬夜、缺乏锻炼等不良生活方式带来的健康问题日益严重。通过基于智能手机的感知和劝导技术，可以帮助用户形成科学的饮食习惯，提升运动的积极性，养成正确的作息规律。

在饮食方面，台湾大学的PlayfulBottle利用智能手机游戏的形式提醒和劝导办公室用户喝足够量的水；智能叉子SensingFork则能感知用户的进食动作和食物种类，并结合智能手机游戏帮助儿童养成良好的进食习惯。

在运动方面，Consolvo等人提出的UbiFitGarden系统通过智能手机游戏的方式鼓励用户定时进行运动，以保持身体健康；Nike公司的Nike+Running应用则通过感知用户的跑步距离、速度和时间，估算出运动的卡路里消耗，并在跑步时提供音频反馈。

4.2普适医疗护理

近年来，随着智能手机逐步普及，基于智能手机和生理传感装置的家庭医疗辅助和老年人生活护理得到了广泛关注，成为普适医疗的研究热点[40–43]。

在家庭医疗辅助方面，Scherr等人提出了一个心脏病人远程监护系统，并运用在了20个病人身上。该系统将病人每天的血压、脉搏和服药情况等信息通过移动设备汇总到远程监护中心，并能对超出阈值的生理信号进行报警；台湾交通大学的Wedjat系统则可以根据药物相互作用原理自动安排服药时间，并通过智能手机提醒用户按时服药。

在老年人生活护理方面，清华大学的uCare系统利用智能手机的加速度传感器检测老年人摔倒，并自动发出警报或拨打紧急联系人号码；西北工业大学则提出了一个基于移动社交网络的协作式老年人服药系统；中科院计算所的PPCare系统则致力于提升老年人生活品质。

4.3智能家居环境

智能手机作为沟通“人–机–物“的终端设备，不仅可以作为各种家居设备的统一控制器，更将成为这些设备的信息共享中心，应用前景十分广阔。

在家居设备控制方面，智能手机可以提供多模态交互和远程监控等功能。例如，Das等人提出的家庭自动化安全系统（HASec）可以利用移动设备控制家中设备，例如操控视频摄像头，或开关电脑；清华大学则提出了基于智能手机的智能家居应用HouseGenie;浙江大学的MagicPhone则以智能手机为终端，结合语音和手势对家居环境中的设备进行操控，例如开关电视或调节空调温度。

在家居设备信息共享方面，微软亚洲研究院提出了Human-Building-ComputerInteraction(HBCI)的概念。用户通过智能手机读取家居设备上的二维码来获取设备状态和能耗信息，从而协调各个设备的工作顺序和时间，以达到降低总体能耗的目标；浙江大学的WaterLady项目则将饮水机连接到新浪微博，使得用户能够通过智能手机获得状态提醒。

4.4智能交通出行

随着城市规模的扩张，城市交通网络日趋复杂，车辆不断增加，随之而来的交通问题日益严重。智能手机可以作为城市智能交通系统的终端，在路线规划、车辆调度、拥塞避免等方面为用户提供及时准确的资讯，成为个人智能出行的有效工具。

在路线规划方面，东京大学的NaviComf系统则利用环境和智能手机感知来进行行人导航，以提高步行时的舒适度；柏林自由大学的自动驾驶车项目则允许用户通过iOS移动设备预约无人驾驶车，并自动规划出行路径。

在拥堵避免方面，Thiagarajan等人提出的VTrack系统利用路网中众多的智能手机来确定车的位置，从而估算出拥堵路段和预期拥堵时间，进而帮助用户选择合适的路径；微软亚洲研究院的T-Finder系统则通过分析长时间的出租车轨迹数据和乘客移动规律，为出租车司机和乘客推荐合适的打车地点和路径。

4.5自然娱乐体验

随着移动设备感知交互技术的迅速发展，智能手机有望取代电视、个人电脑和游戏主机，成为下一代多媒体娱乐平台。

在音乐、视频等媒体交互方面，新的感知方式能将用户从手动操控中解放出来。Dornbush等人提出的XPod应用可以根据用户心情自动播放合适的音乐；浙江大学的TaskShadow框架则通过感知用户的位置变化，自动地在移动设备和个人电脑、电视之间进行多媒体无缝迁移，保证音乐、视频播放不被中断。

在游戏交互方面，清华大学的SurpriseGrabber通过感知智能手机在空间中的运动，控制游戏中虚拟的手抓握运动的虚拟物体；浙江大学的Tilt&Touch使用手势感知技术，将智能手机作为3D控制器，提供在三维场景漫游中移动、旋转、视角缩放的直观自然交互体验。

4.6移动教育协作

随着移动互联网的成熟，以智能手机为载体的移动教育和群体协作逐渐受到关注。智能手机丰富的感知和交互手段有助于提升教学趣味性，移动社交网络则促进了团队成员之间的协作和沟通。

在教育辅助方面，香港大学利用摄像头增强现实技术实现了寓教于乐（Edutainment）的物理教学辅助应用；在群体协作方面，西北工业大学的智能校园系统以自习室查询应用Where2Study和参与感知应用I-Sensing为典型代表，实现了基于移动社交网络的信息资源共享。

5 总结

智能手机的普适感知和应用领域正处于茁壮成长时期，结合了传感技术、移动互联网、智能计算等领域的最新技术，朝着以人为本、无处不在、智能感知的方向不断向前发展。本文从智能手机感知的硬件基础、感知内容和感知应用三个方面对当前的研究热点进行了综述，并对未来发展趋势作了分析。我们认为，基于智能手机的普适感知应用将对医疗和健康生活方式、交通和城市规划、娱乐和移动协作等领域产生深远影响。

（全文下载）

版权所有：中国计算机学会CCF《技术动态》