色彩資訊: 膚色

剛剛 兆廷 來和我討論他專研的 實驗結果, 發現直接對人做Sobel 運算, 找出 edge 後, 再做投影 (projection) 處理的結果, 並沒有辦法順利找到人臉五官的位置。因此, 我們決定再將處理的範圍想辦法縮小。

我們將整個處理程序整理了一遍, 重新思考每個環節所代表的意義。我們原先的作法是用背景圖將人與背景區隔開來, 然後就直接對人做處理, 希望可以找出五官的位置。處理的方式是選取效果比較好的色彩做 Sobel 運算, 然後做投影處理。

如果我們想要縮小處理的範圍, 原先我們所忽略掉的色彩資訊, 這時候似乎可以派上用場。如果先對人做 color labeling, 然後針對每個 label 的平均色彩與面積大小, 位置資訊去排除不可能是膚色的 label。希望透過膚色label 框出我們要處理的範圍, 然後再做後續的投影處理, 找到五官的位置。

洛克人的危機

經過一個暑假的沉寂, 昨天專研洛克人戰士 ( 洛克人遊戲視訊控制介面之研發 ) 出現了 3 位, 其中有兩位同學 士華 和 毓麟 帶著自己新研發的武器。

士華 負責的研發內容是改造已經多次提供給使用者試玩的第一階段版本。這個版本的首次展出是在去年 電腦遊戲課程 的期末展示會。那一次的展出非常成功, 共獲得現場參觀師生 116 張選票, 獲選最受歡迎票選的專研學生組第一名。之後, 在今年春天的校慶當天, 在資訊大樓辦了一場 真人版洛克人大賽, 還有今年暑假的 銘傳資訊營 提供給小朋友體驗。經過幾次的實際操作, 目前 士華 的想法是提供使用者可以自行設計觸發區塊的介面, 讓玩家可以依照自己的體型或遊戲習慣來控制洛克人。



士華 這樣的想法和我今年初寫在隨身記事本上的想法一致, 希望能夠發展一套使用者可以自行量身訂做的控制器。屆時, 使用者參與設計的控制介面, 也會成為一個遊戲控制是否流暢的因素, 再者, 這樣的控制介面就可以適合於各種遊戲, 而不是僅限於玩洛克人了。

在遊戲的過程中, 玩家的位置可能會不自主性的移動, 這會造成觸發區塊的距離改變, 使得玩家必須分神注意自己的位置, 無法全神貫注於遊戲。毓麟 就是負責研發 解決方案。我們希望玩家的位置移動了, 觸發區塊會隨著玩家移動。

昨天出席的洛克人戰士還有 昇弘, 目前的研發都僅有想法而沒有實作, 因此並沒有討論應該如何繼續發展。至於其他消失許久的戰士們, 我們已經假設其已經在打工, 補習或其他的戰鬥中陣亡。10月14日就要專研總審了, 是否可以度過總審大危機, 洛克人戰士們也只能靠自己了！

Dice

星期四下午和 92 級專研 多媒體遊戲製作-教育應用 這組討論, 這是用來決定玩家在地圖中探險, 該前進幾步的骰子( dice )。 順安 寄過來的動畫有些問題, 所以我剛剛用 Ulead GIF Animator, 將每一個畫格的延遲時間, 移除方式等參數都調整過。

92 級的專研總審時間是訂在10/14 (六), 只剩下一個半月的時間了, 許多遊戲的細節都還沒有設計清楚, 更何況還有一些程式問題需要解決, 實在令人擔心。

Automatic White Balancing

昨天文全和柏凱來與我討論, 在 demo 系統時, 發生了一件有趣的事情, 就是當我們把藍色色紙放進攝影機拍攝範圍時, 整個畫面的背景就會自動呈現色偏的現象, 用其他色紙則沒有發生如此嚴重的情況。這樣的結果, 導致系統在偵測物件時, 發生了錯誤。如上左圖為背景, 右圖整個畫面的燈光變成暖色光源。

後來, 我與 梁老師 談到今天討論的情形, 就把兩張圖拿出來研究, 梁老師覺得應該是 WebCam 自動做了白平衡處理( white balancing )所導致, 必須把這個功能關閉, 再進一步實驗看看。

目前, 文全 和 柏凱 也同樣遭遇到光源變化的問題, 例如日光燈閃爍可能對取像的結果造成影響。這個因素與取像後與背景圖相減後, 該用多大的臨界值 (threshold) 來決定是否出現物體是密切相關的。這個問題其實在上學期就已經與可欣討論過, 我們打算從兩個角度切入, 試圖解決這個問題:
1. 必須自動偵測出環境中, 光影的影響程度。
2. 必須用更精確的方式, 計算出背景圖。
　

探險地圖

上週四學生專研 多媒體遊戲製作-教育應用 這組來報告目前的專研進度, 並展示目前所開發的一些小遊戲。

目前尚待完成的項目有:

A. 系統主程式與各個小遊戲之間的整合

例如: 背景圖的處理方式應該統一。

B. 探險遊戲地圖的細部設計

應該加入讓使用者切換成大地圖細看各個探險途徑的功能。
　

兩個主要顏色的情況

很明顯的, 這張照片中有兩個主要的色彩, 這也是昨天下午與 文全 和 柏凱 的討論主題。
假設的情況是畫面中擷取到兩個人穿著不同顏色的衣服, 在這種情況下, 使用原來的平均色演算法, 變色龍勢必無法變成和畫面中一致的顏色。

為了解決這個問題, 系統必須有能力去分析擷取的畫面中, 出現了幾個主要代表顏色。因此, 針對物件中的每個像素做 色彩量化 後, 必須同時統計每個量化後色彩的像素數量, 換句話說, 就是要做出色彩直方圖 (color histogram) 。

以前教的色彩直方圖, 大多是針對灰階影像, X 軸是 0 ～ 255 的灰階值, Y 軸則是像素數量。我們現在要做的則是針對量化後色彩的直方圖, 把 X 軸改成各個色彩就對了。

一般的直方圖無法顯示該色彩在影像中出現的位置(location), 為了提供位置資訊, 我們決定另外設計一張圖, 在圖中顯示各種色彩的球, 球的位置就是該色彩的重心位置, 球的大小代表該色彩的像素數量。
　

當光源不同時

這是 兆廷 和 全譽 昨天下午的專研實驗結果。

在這張圖片中, 臉的五官只出現了左邊一半, 右半邊臉的黑掉了!
目前的作法是把底下兩張圖相減後, 再直接取二值化。


背景圖


取像圖

昨天我們討論時, 一直圍繞在光源所造成的影響與該如何克服光源的影響, 不過, 今天下午我對著那張黑掉半邊臉的圖片想了好久, 也許做 Sobel Operation 會有比較好的結果才對。