HoloLens 2 的系統操作


針對 Microsoft HoloLens 2,之前已經寫了開箱文顯示效果兩篇文章了;接下來這篇,則是會來講一下他在系統操作面的東西。

首先,HoloLens 2 的作業系統,是以 Windows 10 為基礎修改的「Windows Holographic」版本。

雖然他的更新大致上應該是和一般的 Windows 10 一起更新,但是由於使用的是客製化版本、外加處理器也不是 x86 架構而是 ARM 架構,所以不管是在功能面、還是相容性上,都和一般版本的 Windows 10 有相當的落差。


程式支援

基本上,他不支援 Windows 主流的 x86/64 應用程式,僅支援 Microsoft Store 上的 UWP 程式,這點讓他的使用彈性相對很低。

再加上 HoloLens 系列的高單價、而且定位就不是消費級的產品,所以其實能拿來玩的 App 其實不算多。

另外,雖然目前一般版本的 Windows 10 在 20H2 已經提供了 Chromium Edge 做為新的網頁瀏覽器,但是在 HoloLens 2 上,還是只有舊版的 Edge,所以導致連 WebXR 都沒有很完善地原生支援…這點其實算是讓人有點感冒的。

以目前來說,要在 HoloLens 2 裡面瀏覽 WebXR 的內容,應該還是得依賴 Firefox Reality 這個特化的網頁瀏覽器(Microsoft Store);但是在個人來看,這個瀏覽器的 HoloLens 2 版本還不算很好用啊…


操作方式、系統

在操作上,它的操作系統大致上和 Windows Mixed Reality 相同,如果有用過 Windows MR 的話,應該會覺得他的介面相當地熟系。

主要不同的地方,主要是 Windows MR 的裝置(例如 Acer AH100)的互動輸入是靠兩手的控制器;而 HoloLens 2 則是會透過攝影機去追蹤雙手的動作,用手勢來做操作了。(官方文件

在 HoloLens 2 中,只要把手掌面對自己,在手腕處就會出現 Windows 的 logo,然後用另一隻手的手指去點他、就可以開啟 HoloLens 系統的主要選單(類似 Windows 的開始)。

 

如果是單手的話,也可以在 Windows 圖示出現後,讓拇指和食指靠緊,擺出類似 OK 的手勢,也是可以開關開始功能表的。

他的介面基本上和 Windows MR 內是一樣的,只不過由於沒有控制器,所以就只能用手指去點了。(話說,個人有試過用藍芽連上 Windows MR 的控制器,但是沒辦法用)

而如果是要「握住」虛擬的物體的話,則是可以用食指和拇指捏住,然後可以拖動了。
不過個人目前是還不習慣他的判定,常常抓不到它的結束時間,結果變成拖拉過頭…

除了直接用手指去「碰」介面上的按鈕外,還有針對遠距離的物體的「空中點選」(Air tap)的模式。

這個模式就是把手舉起來,透過手延伸的射線(視野中會出現白色虛線)來選擇要控制的東西,然後把食指和拇指合攏再分開,這樣就可以完成點選了。

不過個人是覺得這種操作模式很容易讓手指向的方向晃動,所以其實很難點到小的東西就是了。


給別人看使用者的畫面

在使用 HoloLens 2 時,如果想要取得使用者看到的畫面,目前看來有兩種方法;一個是使用內建的錄影功能,另一個則是透過內建的 Miracast 投影功能,把畫面丟到其他裝置來顯示、處理。

這兩種功能,基本上都是透過 HoloLens 2 本身正上方的主鏡頭來取得實際的場景畫面、然後再疊合 HoloLens 2 產生的虛擬物體、產生最後的畫面。

不過,由於主攝影機的視角、視野基本上還是和人眼不同,所以所呈現的畫面和真正人眼看到的畫面,還是有相當地差異;基本上,就是視野會比較小,感覺也再偏高一點。

而疊合的虛擬物體呢,由於是直接把 3D 繪製的結果畫出來,所以不會受到顯示的光學性質的影響,畫面相對很乾淨、漂亮;實際上肉眼看到的,其實是差了一截的。

所以,如果要能即時讓其他人知道使用者看到什麼東西的話,比較好的方案就是透過 Miracast 來把畫面即時傳出來了~

Heresy 本來是想投影到一般的 Miracast 接收器(Actiontec ScreenBeam)、再接上 HDMI 擷取裝置(AVerMedia Live Gamer Portable 2 Plus)來錄操作的畫面的,但是似乎是採到 HDCP 的限制,所以一直沒辦法成功。

所以後來呢,Heresy 這邊的做法則是把畫面投影到其他 Windows 10 的電腦上(參考),然後再把投影的畫面錄下來。接下來的影片,基本上都是這樣來的。


實際操作影片

下面就是一段實際操作的影片:

這邊算是滿雜的一段影片。在一開始可以看到空間中有實際存在的物體,也有虛擬的物體(那張沙發)。

然後就是操作系統選單,並使用內建的「3D 檢視器」,拉了一隻踩腳踏車的變色龍到空間裡,讓他開始動。這部分基本上算是微軟提供的範例,有不少可以使用的動態、靜態模型,之後會再比較仔細地講這個應用程式。

再來,在 Windows 的設定選單中可以看到,雖然他基本上是 WIndows 10 風格的設定頁面,但是選項和一般的 Windows 10 相比少了不少;例如,這邊就沒有「應用程式」的選項可以控制。

在網頁瀏覽器的部分,基本上只有舊版的 Edge 可以使用;礙於 HoloLens 2 本身的 FoV,他能呈現的內容其實相對有限…

輸入法的部分,則是使用虛擬的觸控鍵盤,打字上和實體鍵盤有相當地落差、只能用兩指神功來輸入,不算很好用。

再來,則是走到房間外;可以看到,HoloLens 2 的定位其實算是相當地好,沒有限制只能在單一房間使用,出了門後還是可以定位到!不過,在某些狀態下,也會發現可以看到牆後面的虛擬物體的狀態就是了。

最後,HoloLens 2 上的攝影機基本上應該也會持續偵測拍到的內容,像是如果視野中有「夠大」的 QR Code 的話,他就會去識別其內容,並顯示一個綠色的框(看更久似乎會變成撥放的按鈕)、讓使用者可以點選。

不過,相較於 Google 的智慧鏡頭,HoloLens 2 的相機辨識的內容感覺就很弱了…目前測試,似乎只能認出 QR Code,而且太小的話(但是肉眼是覺得夠清楚了)還不能識別。


3D 檢視器、虛實交錯的遮蔽處理

前面有提到 HoloLens 2 內建的「3D 檢視器」,這個 App 在 Heresy 來看,應該算是 HoloLens 2 入手後初期,最好拿來玩的內建程式了。

他提供了許多靜態、動態的 3D 模型,讓使用者可以放在空間中。以家具來說,其實就可以當作虛擬的擺設來用了~他可以調整大小、位置,讓使用者放到自己想要的位置,感覺還算滿有趣的;不過在旋轉上,似乎是有選轉軸的限制(只能垂直地面旋轉),這點有點討厭。

下面就是一段測試影片:

而影片的後段,Heresy 則是在測試當虛擬物體被實際的物體遮蔽時的狀況。

基本上,HoloLens 2 會動態地去重建、更新整個世界的 3D 輪廓(基本上應該是 Kinect Fusion 的技術?);所以在一定的程度上,他會去處理虛實物體的遮蔽問題。

但是由於這類的 3D 重建技術,在現階段來說多邊形的處理基本上還是不會太漂亮、準確,所以在很多場合,還是會看到一定程度的誤差。

像在下面兩張圖來說,是 Heresy 走道白板後面的畫面;可以看到,虛擬的桌子基本上是有被白板擋住,但是像是白板的下緣、或是白板和框的中間理論上是要可以看到桌子的,可是卻還是被裁切掉了。

 

這基本上就是因為 HoloLens 2 對於環境的 3D 輪廓重建還沒辦法這麼完美的關係。

至於場景中的動態物件呢?這部分就需要一點點的時間,讓 HoloLens 2 去更新場景的資訊了。

在影片中,如果剛把一張實體的椅子推到會遮住虛擬桌子的位置的時候,在一開始的遮蔽處理會是錯的,可以看到會出現桌子蓋在椅子上這種不合理的畫面(下左圖);在過一段時間、等到 HoloLens 2 更新完成場景後,就會有相對正確的遮蔽效果了。

 

而當把實體的椅子移走的時候,也是會有類似的狀況;可以看到上方右圖,虛擬的桌子會被切出一個椅子本來的輪廓,看起來也很詭異。

理論上,HoloLens 要處理這類的場景變動,大多不會花太多的時間,但是中間的間隔都還是感覺的到的;此外,根據實際物體材質、外型等等因素,有的時候也會出現永遠沒辦法更新到理想的狀態的狀況。這點基本上應該也都是現行技術的限制了。

最後,這部分感覺比較可惜的是,操作者的手似乎不會被 HoloLens 2 視為需要處理遮蔽的實際物體;所以 Heresy 在操作的時候,不管怎樣手都會被虛擬的物體蓋過去…

在操作鍵盤、圖形介面的時候,這種沒有處理遮蔽效果的視覺效過,個人是覺得差了一點啦。不過,個人猜測這或許是為了效能上的妥協吧?


第三方程式:Galaxy Explorer

如果是執行 Microsoft Store 上的程式是怎樣的狀況呢?這邊就以微軟自己的「Galaxy Explorer」(連結)來舉例。

下面就是執行時候的影片:

在執行 App 的時候,大多會先在空間中出現一個視窗、或是一個立體模型,需要再點一次,才會進入 App 的虛擬空間。而在進入時,也會出現許多藍色的三角形,做為示意。

之後的操作方式,則就看 App 本身怎麼寫的了。由於沒有鍵盤滑鼠可以用,所以在操作上,其實有的時候可能還滿難猜的;Heresy 也碰過那種要用語音來控制的…

而要結束 App,目前 Heresy 也只知道可以透過開始選單的「首頁」鈕;按下去之後,他會「掃過」一次空間的 3D 輪廓,代表回到 HoloLens 2 的主空間。


這篇就先寫到這裡了,之後應該會再來一篇整理一些其他比較細節的使用狀況(希望會有)和感想了。


HoloLens 2 系列文章

對「HoloLens 2 的系統操作」的想法

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.