從鍵盤、鼠標，到觸摸板、觸摸屏，人機交互的范式不斷發生變化。虛擬現實（VR）的出現實現了由二維界面到空間界面的變遷。它在給用戶提供全新的沉浸式體驗的同時，也帶來了新的問題：究竟哪種交互范式更適合VR環境？

國際計算機協會（ACM） CHI大會是人機交互領域的頂級國際學術會議。中國科學院軟件研究所（以下簡稱中科院軟件所）一項關于筆形態控制器的研究成果近日被ACM CHI 2020接收，并獲得今年ACM CHI的最佳論文提名獎。

VR交互缺乏成熟的范式

目前，VR交互的主要輸入方式包括了語音、手勢、手持控制器，還有眼動、腦電等。

“但VR目前存在的問題是，它的交互并沒有一個成熟的范式。” 該論文通訊作者、中科院軟件所人機交互技術與智能信息處理實驗室田豐團隊成員韓騰說。

傳統計算機時代，人機交互緊緊圍繞在鍵盤和鼠標周圍，它們是唯一的輸入通道。在過去十幾年間，智能手機和平板電腦又帶來了一個新的交互范式——觸摸。

因為人們每天都頻繁使用著，所以覺得稀松平常。可實際上，正是“觸摸”的出現，直接造就了個人計算機和智能手機時代的輝煌。可見，一種成熟的交互范式具有劃時代意義。

盡管目前VR設備的視覺質量和沉浸效果已經達到一個比較穩定的狀態，可以呈現令人印象深刻的圖形，但相應的輸入技術仍在不斷探索中。

韓騰表示，目前應用程序開發人員比較依賴手持控制器作為消費級VR產品的主要輸入手段。從VR頭戴式顯示器HTC Vive和Oculus Rift等設備上大量的多按鈕和多功能控制器就可以明顯看出這點。

“大多數VR手持控制器有一個特點，用戶抓取它們的方式主要是利用手腕旋轉。基于手腕的動作是足夠有效的，然而，這種握持方式通常需要所有的手指保持力量來握持設備，這不可避免地限制了用戶手指在不受約束時可以實現的動作和輸入范圍。” 研究團隊在論文中指出。

“再如，比較熱門的數據手套，它雖然可以實現手的自然使用，擁有手部動作跟蹤、手勢識別和觸覺反饋等功能，但缺點是，這類手套通常很笨重、穿戴不方便。這些因素在用戶體驗中起到不可忽視的負面作用。” 論文提到，它和手持控制器都面臨著小型化、輕量化的挑戰。

隨著VR技術在數據分析、藝術創作、醫療培訓等領域的廣泛應用，既要滿足用戶對輸入精度的要求，又要輕巧方便，未來的VR交互模式是否還有更好的選擇？

握筆姿態與交互效率

如果人們留意吃飯時我們如何使用筷子，就會發現，這一過程中手指完成了一系列極為精細的動作。有意思的是，研究團隊受手指運動的啟發，聯想到，和筷子外形類似的筆作為常用的書寫工具，既需要運動手腕，也需要靈活的手指。

“將來人類面對空間交互，勢必要進行一些十分精準的或精細的目標選擇和操作，使用筆或許是更好的交互方式。”韓騰說。

中科院軟件所人機交互技術與智能信息處理實驗室在研究員戴國忠、田豐的帶領下，在筆式交互領域耕耘了幾十年。隨著VR、增強現實（AR）空間定位和傳感器等技術的成熟，筆式交互已經不再局限于二維界面。

事實上，在VR中使用筆形態控制器的概念并不是全新的。2019年，羅技發布了一款名為“Logitech VR Ink Pilot Edition”的VR筆。這是世界上首款在三維空間中利用二維表面和空中畫面的VR筆，旨在幫助專業人士在VR中更容易地完成設計。

“但是，至今還沒有研究去挖掘筆在指向和選擇等基本的VR交互任務中到底表現如何，特別是和其他手持控制器相比有什么優勢。” 韓騰解釋，這是團隊進行該研究的初衷。

研究人員首先在實驗中創造性地研究了不同的握筆姿勢對手腕和手指運動的影響，比如運動范圍和舒適度。不同的握持姿勢不僅會對手指的伸展，而且會對手腕增加各種約束。

研究結果發現，在5種常見的握筆姿勢中，筆桿末端握法最有助于手指的整體運動，并且可以促進基于筆的VR界面的更大范圍輸入。

筆輸入可以在VR中進行精確的繪圖和書寫，但其在常規界面任務中的性能還有待評估。于是，在接下來的實驗中，研究人員想知道筆桿末端握法在VR目標選擇任務中的效率如何，包括近距離點選操作與遠距離的射線選擇。為此，研究人員把它與典型的手柄握姿進行了對比。

為了指導研究設計，他們分析了商用VR設備中用于菜單和對象選擇任務的現有界面隱喻和手勢，從而確定了兩個典型手勢：戳和抖動。

結果表明，筆桿末端握法不僅能有效縮短手勢的目標選擇時間，并且戳的手勢還不易出錯。唯一的不足是，長時間使用這一動作容易帶來疲勞。

受此啟發，團隊還研究了如何將兩種姿態結合起來，從而在使用筆輸入時帶來更好的用戶體驗。要做到這一點，關鍵是在不同的抓握姿勢之間進行轉換。這就提供了新的交互機會，比如輸入模式的切換。

除此之外，研究還通過展示筆勢操作、手眼一致性等應用場景，探討了在VR下基于筆輸入的交互設計以及潛在的交互可能。

論文匿名評審專家指出，這是一篇比較經典的CHI論文，實驗設計清晰合理。“它研究了一種潛在的方法提高VR環境中空間交互的靈活性，而在此之前研究界尚未對這種交互方法進行過系統研究。”評審專家認為，該研究有望為進一步研究和設計VR筆提供基礎。

筆式交互的漫漫征途

該研究中，研究人員制作了一支3D打印筆，它的外形與普通筆類似。不過，韓騰表示，VR筆形態控制器還鮮有商用產品，因為現階段它的缺點和優點一樣明顯。

“手持控制器可以通過按鍵實現多種交互功能，目前VR筆形態控制器能做到的要遠遠少于前者。未來，如何在設置較少按鍵的情況下，通過交互設計來完成大部分VR的交互任務，彌補筆形態控制器本身缺乏功能按鍵的短板，是研究團隊進一步關注的問題。”

他還提到，觸覺反饋是近年來人機交互領域研究的大熱點。如何讓用戶使用VR筆在完成目標任務后獲得物理反饋，也是未來提高用戶體驗的重要環節。此外，既要實現功能的多樣性，又要充分體現筆形態的優勢，這一技術同樣面臨小型化的挑戰。

一直以來，筆式交互都不是主流。喬布斯曾說過“最好的手寫筆是手指”，觸控設備多一個手寫筆，反而會給用戶帶來額外的“麻煩”。

戴國忠曾多次提到，由于這個原因，平板常常被定位為放大版的手機，這一度讓它失去更大的發展空間。直到平板朝著移動化辦公定位，致力于完成各種專業的精細的任務，而不再僅是進行社交、游戲等活動，觸控筆的重要性由此凸顯。

2015年，蘋果為iPad Pro配備了第一代觸控筆Apple Pencil。今年，美國專利商標局發布了一項與Apple Pencil相關的蘋果新專利。Apple Pencil可以不依賴特定的表面進行輸入，同時還可用于VR創作。

互聯網巨頭越來越意識到筆式交互的重要。田豐團隊也認為，在可以預見的未來，筆在空間交互中會得到更為普遍的認可。

從原始鼠標、機械鼠標、光電鼠標再到如今的觸控反饋，這一經典的輸入通道也經歷了一代又一代的更替才修成正果。筆式交互要想贏得一個全新的時代，漫漫征途才剛剛開始。

來源：中國科學報 作者：胡珉琦