修改 User Generator 用來分析的深度影像

在之前的一系列文章裡，其實 Heresy 自己是覺得應該已經把大部分、在寫 OpenNI 應用程式的基礎部分都講完了（聲音除外），其他的東西，在 Heresy 來看都是比較偏應用、或是偏進階的東西；雖然其實現在有些部分會想改版重寫，像是現在會想把早期的範例改成用 Map metadta 當範例這類的，不過暫時應該還不會真的下去做這件事。

而這篇的內容，基本上也算是一個特殊的進階使用，那就是：

要怎麼修改深度資料、讓 User Generator 來分析？

對於這個問題，Heresy 最初的想法，是自己去寫一個新的 Depth Generator，在裡面去讀取原始的 Depth Generator 後、做完修改再來讓 User Generator 來用。這個方法理論上應該也是可以的，但是實際上真的要自己寫一個 OpenNI 的 production node 其實還是滿麻煩的…

而後來，想到的方法，就是在撥放 ONI 檔時、拿來操作的虛擬 Production node、也就是「Mock Node」來用了！

OpenNI 的 Mock Node 基本上是一種沒有真正對應到資料來源的虛擬原始資料的 Production node，包括了下面四種：

• xn::MockDepthGenerator
• xn::MockImageGenerator
• xn::MockIRGenerator
• xn::MockAudioGenerator

基本上，就是對應到 OpenNI 裡面，對應到硬體、去讀取原始資料的四種 generator 了～而這四種 Mock Node 基本上都是繼承自本來的 Generator，所以可以和本來的 generator 做一樣的操作。不過，由於他們本身不會去讀取硬體的資料，所以必須要靠程式透過 SetData() 來把資料餵進去，然後再給 OpenNI 的其他模組使用。

而在 OpenNI 官方的「NiRecordSynthetic」這個範例裡，就有用到 xn::MockDepthGenerator 了～有興趣的話，可以參考看看官方範例的寫法；而這邊，Heresy 基本上也是以 xn::MockDepthGenerator 為例子來做說明了。

---

初始化

在建立的部分，基本概念就是：

// OpenNI Context
xn::Context xContext;
xContext.Init();

// Depth generator
xn::DepthGenerator xDepthGen;
xDepthGen.Create( xContext );

// mock depth generator
xn::MockDepthGenerator xMockDepth;
xMockDepth.CreateBasedOn( xDepthGen, "mock-depth" );

// create user generator using mock depth generator
xn::Query xQuery;
xQuery.AddNeededNode( "mock-depth" );
xn::UserGenerator xUser;
xUser.Create( xContext, &xQuery );

在上面的程式碼裡，首先還是先建立 OpenNI 的 context xContext、並對他進行初始化。接下來，用一般的方法，建立一個 depth generator xDepthGen，用來讀取感應器的資料。

再來，則是建立一個 xn::MockDepthGenerator xMockDepth，用來當作虛擬的 depth generator；這邊是使用 CreateBasedOn() 這個函示來做建立的動作，如此可以把 xDepthGen 的基本資訊直接拿來給 xMockDepth 用。而第二個參數「"mock-depth"」則是一個字串，用來指定建立出來的 node 的名稱。

（注意！Node 名稱似乎有可能會導致錯誤！建議不要改掉字串、或是用不包含「depth」這類可能是內部定義的單字來命名。）

而在建立 user generator 的時候，則就需要透過 xn::Query 來做限制，來要求 OpenNI 去建立一個使用 xMockDepth 的資料的 user generator 了～而這邊限制條件的方法，基本上就是先建立一個 xn::Query 的物件 xQuery，然後透過他的 AddNeededNode() 這個函式來做條件的指定；而指定的條件，這邊就是給他 xMockDepth 的名稱，也就是 "mock-depth" 了～

在設定好 xQuery 後，只要在 user generator 建立的時候，把他的位址當作 Create() 的第二個參數傳進去，這樣 OpenNI 就會建立一個使用 xMockDepth 的 User generator 出來了～

---

資料更新

初始化完成後，接下來的設定基本上都和本來的用法一樣了～不一樣的地方，在於每次在主迴圈內、進行資料更新的時候，會需要做特殊的處理。

首先，本來在主迴圈裡面、每次都需要呼叫 Context 的 WaitAndUpdateAll() 這個函式，來要求 OpenNI Context 針對所有的 Node 進行更新、直到都更新好了再繼續執行；但是現在由於 mock node 本身不會自己產生資料，所以如果使用 WaitAndUpdateAll()，會因為等不到 xMockDepth 的更新，而讓程式卡住（不會完全不動，只是更新很慢）。所以，這邊要修改一下，變成呼叫 WaitOneUpdateAll()，然後把 xDepthGen 傳進去，讓他等到 depth generator 的資料準備好了，就繼續執行。

而等到 xDepthGen 取得新的深度資料之後呢，就要手動把新的 depth map 讀取出來、經過修改（看自己要怎麼改）、透過 xn::MockDepthGenerator 的 SetData() 這個函式，把修改後的結果餵給 xMockDepth 了～如此一來，之後 user generator 就會使用這個被修改過的資料，拿來做分析了～

實際上寫的話，大概就會像下面這樣：

// update data
xContext.WaitOneUpdateAll( xDepthGen );

// get original depth map
xn::DepthMetaData xDepthData;
xDepthGen.GetMetaData( xDepthData );

// make data writable and modify
xDepthData.MakeDataWritable();
// modify data....

// set data
xMockDepth.SetData( xDepthData );

這邊基本上就是在 xDepthGen 的資料更新後，透過 GetMetaData() 把讀取到的資料（xDepthData）拿出來，然後透過 xn::DepthMetaData 的 MakeDataWritable() 這個函式，在內部建立一份額外的記憶體空間，讓資料可以被修改（本來是唯獨的）。

而之後，就可以針對 xDepthData 進行修改了～看是要套用什麼影像處理的演算法，就是看各自的需求了。修改資料時，還需要先取出可寫入的資料，最簡單的方法應該就是使用 WritableDepthMap() 這個函式，下面就是一個把所想像素都填 0 的範例：

xn::DepthMap& rDepthMap = xDepthData.WritableDepthMap();
for( unsigned int y = 0; y < rDepthMap.YRes(); ++ y )
  for( unsigned int x = 0; x < rDepthMap.XRes(); ++ x )
    rDepthMap(  x, y ) = 0;

而如果需要的話，也可以直接透過 WritableData() 這個函式，來取得 XnDepthPixel 的指標，對整個陣列進行修改。

當修改完成後，只要透過 SetData() 這個函式，就可以把修改過的 xDepthData 送給 xMockDepth；而當資料送給 xMockDepth 後，對應的 user generator、也就是之前建立的 xUser 就會得到有新資料的通知，並且向 xMockDepth 來要這筆修改過的深度資料、並進行分析了～

---

這篇大概就先寫道這了。基本上，只是著重於概念上的說明，實際上要應用，主要還是看是要做什麼處理了；基本上，Heresy 想到比較可能會需要的，應該會是以影像處理或電腦視覺的 denoise、也就是減少深度的雜訊為主吧～另外，有需要的話，應該也是有可能輔以彩色的資料，來把深度感應器上的洞、閃爍的效果降低，這樣或許可以加強後續分析的穩定性。

不過，由於 OpenNI 互動程式基本上都是互動式的，如果在這部分影像處理花了太多的 CPU 計算能力，有可能會產生效能上的問題…這時候，勢必會需要靠 OpenMP 這類的平行化方法來針對多核心處理器做最佳化，甚至是採用 nVIDIA CUDA 或 OpenCL 這類的 GPGPU 技術，把計算丟到顯示卡去了～這點就是要自己斟酌的了。

---

OpenNI / Kinect 相關文章目錄

廣告