有趣的可攜式多點觸控系統:OmniTouch


這個「OmniTouch」是一套發表於 ACM UIST 2011(官網)上、一套使用深度感應器、加上微型投影機所建構出來的一套可攜式互動式操作系統(如右圖),官網的說法是「可穿戴、隨處多點觸控互動」(Wearable Multitouch Interaction Everywhere)系統。

它的官方網站是:

http://www.chrisharrison.net/index.php/Research/OmniTouch

透過微型投影機,他可以再靠近使用者的表面,投影出圖形介面、或者其他資訊;而透過深度感應器,他則可以精確地抓到人的手的位置,並在不需要在手上配戴其他裝置的情況下,進行操作。下面,則是官方的展示影片:

如果之前有看過、還有印象的話,應該會聯想到 2009 年、TED 上一位 MIT Media Lab 成員 Prarnav Mistry 所發表的「第六感」(SixthSense、官網)系統。如果沒看過或沒印象的話,可以先看看下面的中文影片:

基本上,SixthSense 和 OmniTouch 的概念大致上是相同的,都是希望可以在任何表面、都可以直接顯示圖形介面、並且用最簡單的手勢進行操作~主要的差別,只在於使用的某些技術不同而已。

在 Heresy 來看,兩者主要的差別,應該只在於 SixthSense 使採用一般的攝影機來抓手的資料,所以必須需要在手指上戴上特殊顏色的指套來做標示(看他們官網的圖,都還是有戴);而 OmniTouch 則是採用深度攝影機來進行手指的辨識、如此一來使用者就不需要戴上指套,直接操作了~此外,理論上因為深度感應器也可以更精確地判斷投影平面的位置、角度,所以微型投影機的投影效果應該也可以更好。(不過OmniTouch 似乎少了彩色攝影機,沒有辦法抓現在看到的畫面?)

在 OmniTouch 的論文(PDF)中有提及,他們所使用的深度攝影機,是和 Microsoft KinectASUS Xtion 相同的技術、也就是由 PrimeSense 製造的深度感應器,所以在程式開發上,應該也是採用 OpenNI 吧?不過他們用的並不是上面上的產品,而是客製化的產品就是了(320×240@30fps)。另一個主要元件,則是 Microvision ShowWX+ 這台微投影機。

而 OmniTouch 目前的設計,是把整個系統「背」在左肩後方(下圖)來使用~不過目前的雛形,還是要連接桌上型電腦就是了。(SixthSense 目前的設計應該是戴頭上、圖片

 


簡單介紹大概就到這邊吧~接下來,來寫一些 Heresy 自己對這類東西的想法。

基本上,這種可以隨處投影、隨處操作的概念,是相當有吸引力的!如果真的可以做到的話,感覺上應該真的是相當地方便~不過實務上,以目前的硬體技術,應該還做不到真正的「可攜」;考慮到投影機的大小、感應器的大小、電力、要計算的裝置等等,如果以現在的技術要做的話,勢必會變得很突兀、很不方便。至少,Heresy 還不想背著這樣的東西出門啊~ XD

不過基本上,這些問題應該都有可能在將來、以更新的製造技術克服。或許有一天,這些裝置可以縮小成一條項鍊、然後採用掛在胸前的形式,如過這樣的話,也就算是非常地好攜帶了~(或者狠一點,用類似 EyeBorg 的植入式系統?)

而在軟體層面,Heresy 個人最近也在寫 OpenNI 的操作介面,目前是覺得…在寫這類的程式上,會有很多寫傳統 Windows UI 時不會碰到的問題要考慮,所以某種程度上也會相當地難寫…不過目前這方面的技術應該算是正在起飛,應該再過個一段時間,整個開發的概念就會比較純熟、比較固定了~(話說,之後應該要認真把這篇論文看完…)

總之,目前這種操作方法,雖然還只是雛形,但是都算有一定的成果了~但是以後是否真的能實用化?就要再看看了。

對「有趣的可攜式多點觸控系統:OmniTouch」的想法

  1. 這個 sensor 看起來是有 RGB,所以 OmniTouch 應該是可以利用 RGB 的部分來這個偵測投射出的畫面。

    OmniTouch 使用的這個 sensor 的確是客制化的,跟 Kinect 與 Xtion 設計不ㄧ樣。這個 sensor 是 short range sensor,顧名思義就是可以看到較近的深度圖 (>20cm),但最遠就差不多一公尺多。而一般 Kinect 與 Xtion 則是設計可以看到較遠的深度圖,但是要最近的可視範圍就要 >70cm。 有點像近視與遠視的味道。

    Pranav 跟 MSR team 有合作關係。

    • 感謝補充。
      詳細文章內的確有提到,他們是為了縮短距離採用客製化的感應器。

      的確從外觀上,看起來的確會像是也有 RGB Camera(因為有三個洞 XD)。
      但是在論文內都是單純把 sensor 稱文 depth camera,而且似乎也都沒提到有用到 RGB camera,所以 Heresy 才覺得他們似乎沒有用到 rgb camera。

      不過,個人比較好奇的是,depth camera 一定得做成這樣橫條型的嗎? o_O

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Google photo

您的留言將使用 Google 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.