SmartTouch：基于智能手机的视力无障碍交互技术

2018-11-12 清华大学无障碍发展研究院

  2018年11月，在阿里巴巴上海双11技术展会上，清华人机交互实验室（实验室负责人为清华大学计算机系教授、无障碍发展研究院副院长史元春）和阿里合作的视觉无障碍交互技术(SmartTouch)与全场“衣食住行”等6大平台的技术应用同时在现场展出。展会吸引了来自各国的大使、政要和500多家国内外媒体朋友前来参观。全球范围内的各大科技媒体，包括美国TechCrunch、ZDNet、The Next Web，印度Asian News International、BGR India，香港HK Presslogic，台湾Yahoo Taiwan等争相报道了SmartTouch项目。

SmartTouch原型图

SmartTouch实际使用

  SmartTouch，即旨在为视力障碍人群重新定义智能手机的交互体验。SmartTouch的核心是智能交互代理技术，能够基于对图形用户界面的理解，为用户提供触觉和语音的多模态交互辅助。经过一年多的不懈努力，SmartTouch首先实现了对淘宝和支付宝的适配。

  SmartTouch为视力障碍人群提供了基于移动设备的无障碍交互技术。SmartTouch能够理解移动设备用户图形界面中的每一个页面，并以此为基础提供界面上重要功能和信息的快捷访问入口。SmartTouch 也在界面上添加了6个触觉按钮，这些按钮可以提供触觉反馈，作为传统的语音反馈的补充。SmartTouch可以帮助视力障碍人群更快更简单地使用智能手机。

  SmartTouch完成了从原始应用的用户图形界面到更加适合盲人使用的触觉-语音界面的映射。由于不同人群的具体需求和使用场景的差异，最优的交互界面和交互功能的设计可能会有较大的差异。SmartTouch同时对外提供接口，第三方开发者可以使用SmartTouch理解界面的结果来快速实现自己的无障碍应用。

(本项目由清华大学无障碍发展研究院副院长、清华人机交互实验室负责人史元春教授团队研发)