《Kinect v2.0 台灣首度曝光暨技術研​討會》參加紀錄


微軟在發表第一代的 Kinect 後過了快三年,終於在去年、搭配新的 Xbox One 推出的新的 Kinect 感應器。不過,和初代的 Kinect 一樣,第二代的 Kinect 最初也僅只搭配遊戲機使用,沒有 PC 版。

但是由於有了 Kinect For Windows 的經驗,所以微軟這次很快地就把目光放到 PC 市場上,在發表後沒多久,也就開始針對第二代的 Kinect for Windows、也就是「Kinect for Windows v2.0」開放了開發者的預覽版本申請,讓有興趣的開發者可以搶先體驗新版的 Kinect 感應器和 SDK 了!

而也由於這款產品來沒正式上市、目前也僅供有申請的開發者使用(Heresy 知道台灣有幾台了),所以像 Heresy 這樣的一般人,基本上是沒機會玩到、看到的。而微軟這次在台北辦的《Kinect v2.0 台灣首度曝光暨技術研​討會》(Facebook 訊息),則比較像是 Kinect v2 的產品正式發布前的展示、推廣活動。

微軟這個活動,是辦在台北信義區的國泰金融大樓(右圖、台灣微軟就在這)的會議廳,交通算是很方便;而只要在線上報名後就可以免費參加了~不用花半毛錢,非常地友善。所以,Heresy 就請公假跑來參加了~

微軟這次則是請來 Kinect 開發團隊的 Michael Fry 和 John McQueen 來做介紹;主題,基本上就是 Kinect for Windows v2 這款新的感應器、以及 SDK 的簡單功能、以及程式 API 架構上的變化簡介了~

場地(左圖)基本上應該算滿大的,而且來的人也很多,可見大家對這塊也都很重視啊~

當然,整個研討會是全程英文的,Heresy 自認應該有聽懂七八成吧?不過,還是不是很有自信,所以…如果接下來的整理內容有問題,就當是 Heresy 聽錯了吧~ XD


一開始,是先介紹微軟的 Kinect 和 NUI(Natural User Interaction、自然使用者互動),然後做一些影片的展示和說明。在實例影片的部分,包括了虛擬試衣鏡、賣場的客戶行為分析(AVA Retail)、產品展示(AUDI)、工作環境設計、健康照護(AIMI)、手術時的非接觸互動介面等等。

之後,則就是重點、也就是介紹 Kinect v2 的硬體、以及和前一代產品的比較。而雖然講者有實機展示,但是其時展示也相當簡單,基本上和之前 WIRED 的 Xbox One 的介紹影片(YouTube)應該是同樣的程式,沒看過的建議可以先看看影片。

而在 Heresy 來看,這場研討會的一個重點,是微軟終於有提供了一些更詳細的硬體規格了~

首先,Kinect v2 改採用 USB 3.0 介面,還是需要額外供電。K4W 的版本還有一個變壓器。而在主要的硬體規格上,包括了:

  • 彩色影像:FullHD(1920 x 1080 @30fps)
  • 深度影像:
      • 改採 ToF 技術、號稱有三倍的精確度
      • 512 x 424 @30fps 的解析度
      • 更大的視角,FOV 由 53×47 度變為 70×60 度
        • 在 1 公尺左右的距離即可偵測使用者(上一代建議 2 公尺)
      • 取消了 Near Mode、使用距離建議 0.5 – 4.5 公尺
  • 紅外線影像:
    • 解析度和深度影像一樣是 512×424,估計應該是用同一個感應器
    • 可以和彩色影像、深度影像同時使用
    • 由於深度改採 ToF 技術,所以捕捉到的紅外線影像不會像 PrimeSense 的技術有散斑、畫面很乾淨
  • 取消了控制傾角的馬達 

其中,最重要的應該還是改採用 ToF 技術的深度感應器。雖然他的解析度為 512×424,比 PrimeSense 的 PS1080(第一代 Kinect 採用的技術)來的低一些,但是其資料的穩定性看來是相對地好、細節也更多;而根據使用者的經驗,他被其他環境光源(紅外線)影響的機率也更低,甚至可以承受一定程度的日光(太強還是不行)!

不過,不管是微軟現場的展示、或是之前 WIRED 的測試影片,都可以看到深度影像的四個角落的深度資訊都相對地差、甚至是全黑的?這點不確定是不是硬體技術的限制?也有與會者有提出這個問題,不過講者他們自身似乎沒注意到有這樣的問題,所以沒有很明確地答案…


在軟體的部分,Kinect for Windows SDK v2.0 基本上是針對 Kinect v2 設計的,僅能針新一代的感應器使用,如果是使用第一代的 Kinect 感應器的話,應該是需要繼續使用舊版的 SDK。

而 v2 SDK 目前還在非常早的階段,開放給使用者的 API,除了原始資料(彩色影像、深度影像、紅外線影像等)的讀取外,就只有基本的骨架分析了~至於展示的骨架方向性、肌肉受力、表情分析等等…基本上現在都還是內部的展示程式的功能,SDK 內並無法使用…(囧)

至於現階段提供的功能,主要就是他現在可以偵測 6 個使用者(含骨架)、25 個關節點;關節點的數量和上一代比起來多了 5 個~由於在手掌這部份現在有三個關節點了,所以也可以在一定的程度上,偵測手的開合狀態,這是相當實用的!

另外,比較重要的一點,是 v2 SDK 把深度影像分析的計算、丟到顯示卡上去做(應該是 Direct Compute 吧)了~所以以後要執行 Kinect v2 的程式的話,應該是會需要好一點的顯示卡了;不過理論上,Intel 較新的 IGP 應該也是可以運作的。像是講者現場展示所使用的就是使用 Intel IGP 的筆記電腦,雖然更新率上不了 30、只有 1x 左右,但是至少是可以運作的。

其他,在 v2 SDK 上的細節,還有:

  • 改採用 Source / Reader 的架構
  • 將 Player Index 從深度資訊內移除,以後處理深度資訊會更單純
  • 提供額外的 Body Index 資料來源、1byte
  • 移除了一些 v1 設定的選項(例如 near mode、解析度設定)
  • 使用 helper class 來做畫面同步、座標轉換(現有 SDK 版本的畫面似乎在同步上有問題)

基本上,大概就是這樣了吧~

目前微軟方面應該也還沒有一個詳細的時程,不過有可能會在今年夏天後發布吧?接下來,就慢慢等吧。不過價錢破萬…Heresy 這邊要入手的難度似乎變高不少啊…

最後,零星幾點補充:


OpenNI / Kinect 相關文章目錄

對「《Kinect v2.0 台灣首度曝光暨技術研​討會》參加紀錄」的想法

  1. 請問kinect V2用來測量深度的紅外光
    也是雷射的一種?
    kinect1使用的結構光應該是屬於雷射吧!?
    v2這種一整面的不知道算是什麼,tof應該不需要結構光?

    • 所謂「紅外線」指的是「波長比紅光長的非可見光」。
      而「雷射」則是符合特定條件的光線,兩者並不衝突。

      TOF 的確不是結構光,他基本上應該算是打整面的。

  2. […] 三台感應器基本上是放在接近的位置(上面疊疊樂的方法)、同一狀態下來做畫面擷取的。可以看到,Kinect v2 的深度影由於 FOV 較大,所以能看到的東西比較多,而他的解析度雖然略為降低,但是畫質卻比較好、邊緣破碎的程度和使用 PS1080 的感應器比起來,算是降低了不少;這應該也就是微軟所說的「提高三倍精確度」(參考)了~ […]

  3. HERESY老師您好
    我目前在做的實驗是想要將kinect應用在戶外的環境之下
    雖然在拿到外面之前就知道kinect的深度資訊原理
    但是沒有想到影響的程度這麼大 被陽光照到就不行了

    請問硬體上的問題有辦法克服嗎?
    利用影像處理之類的方式

    或是老師有推薦的戶外探測深度的裝置

    感謝

    • Kinect 這類的感應器因為使用紅外線,所以基本上不適合在戶外使用,算是根本原理上的問題了。
      這部分,除非更換別種原理的感應器,不然基本上是無法使用的。
      目前比較可能的方案,應該是採用雙眼視覺原理的深度攝影機,比較不會受到太陽的影響吧,不過目前似乎沒有看到實在在賣的成品。

    • 以目前的維護團隊來看,應該不會主動去支援,但是一定會有人寫相關的模組。不過 NiTE 的部分礙於授權,應該不能用。

  4. […] 官方消息是《Windows Store app development is coming to Kinect for Windows》~而 SDK 將有一些新的功能,包括了:Windows Store App 開發、支援 Unity、骨架追蹤的精確度改善、同時多 App 的支援等等。 這部分也可以參考之前的《《Kinect v2.0 台灣首度曝光暨技術研​討會》參加紀錄》。 […]

  5. 寫的很詳細呢~辛苦了

    請問當日是否有說明為何取消馬達功能呢?

    這個功能還蠻不錯的啊~

  6. 好專業阿,相當佩服!也感謝您的推薦。聽John McQueen在會中表示,美國將會在今年暑假(mid summer)左右發表, 台灣的話應會再晚一些。Great meeting you online. ;-) yahsin

發表留言

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料