Automatic White Balancing

昨天文全和柏凱來與我討論, 在 demo 系統時, 發生了一件有趣的事情, 就是當我們把藍色色紙放進攝影機拍攝範圍時, 整個畫面的背景就會自動呈現色偏的現象, 用其他色紙則沒有發生如此嚴重的情況。這樣的結果, 導致系統在偵測物件時, 發生了錯誤。如上左圖為背景, 右圖整個畫面的燈光變成暖色光源。

後來, 我與 梁老師 談到今天討論的情形, 就把兩張圖拿出來研究, 梁老師覺得應該是 WebCam 自動做了白平衡處理( white balancing )所導致, 必須把這個功能關閉, 再進一步實驗看看。

目前, 文全 和 柏凱 也同樣遭遇到光源變化的問題, 例如日光燈閃爍可能對取像的結果造成影響。這個因素與取像後與背景圖相減後, 該用多大的臨界值 (threshold) 來決定是否出現物體是密切相關的。這個問題其實在上學期就已經與可欣討論過, 我們打算從兩個角度切入, 試圖解決這個問題:
1. 必須自動偵測出環境中, 光影的影響程度。
2. 必須用更精確的方式, 計算出背景圖。
　

探險地圖

上週四學生專研 多媒體遊戲製作-教育應用 這組來報告目前的專研進度, 並展示目前所開發的一些小遊戲。

目前尚待完成的項目有:

A. 系統主程式與各個小遊戲之間的整合

例如: 背景圖的處理方式應該統一。

B. 探險遊戲地圖的細部設計

應該加入讓使用者切換成大地圖細看各個探險途徑的功能。
　

兩個主要顏色的情況

很明顯的, 這張照片中有兩個主要的色彩, 這也是昨天下午與 文全 和 柏凱 的討論主題。
假設的情況是畫面中擷取到兩個人穿著不同顏色的衣服, 在這種情況下, 使用原來的平均色演算法, 變色龍勢必無法變成和畫面中一致的顏色。

為了解決這個問題, 系統必須有能力去分析擷取的畫面中, 出現了幾個主要代表顏色。因此, 針對物件中的每個像素做 色彩量化 後, 必須同時統計每個量化後色彩的像素數量, 換句話說, 就是要做出色彩直方圖 (color histogram) 。

以前教的色彩直方圖, 大多是針對灰階影像, X 軸是 0 ～ 255 的灰階值, Y 軸則是像素數量。我們現在要做的則是針對量化後色彩的直方圖, 把 X 軸改成各個色彩就對了。

一般的直方圖無法顯示該色彩在影像中出現的位置(location), 為了提供位置資訊, 我們決定另外設計一張圖, 在圖中顯示各種色彩的球, 球的位置就是該色彩的重心位置, 球的大小代表該色彩的像素數量。
　

當光源不同時

這是 兆廷 和 全譽 昨天下午的專研實驗結果。

在這張圖片中, 臉的五官只出現了左邊一半, 右半邊臉的黑掉了!
目前的作法是把底下兩張圖相減後, 再直接取二值化。


背景圖


取像圖

昨天我們討論時, 一直圍繞在光源所造成的影響與該如何克服光源的影響, 不過, 今天下午我對著那張黑掉半邊臉的圖片想了好久, 也許做 Sobel Operation 會有比較好的結果才對。
　

Kick Ass Kung-Fu

這個作品來自於芬蘭(Finland) , 是連續三年被「世界經濟論壇」(World Economic Forum, WEF) 評比為「成長競爭力」全球第一名的國家, 真是一個了不起的國家。對芬蘭有興趣的人, 可以去書局或圖書館找一本今年六月剛出版的新書「芬蘭驚艷」來閱讀。

Kick Ass Kung-Fu is an immersive game installation that transforms computer gaming into a visual, physical performance like dance or sports. You can fight and defy gravity like kung-fu movie actors - only there's no wires or post-production needed, thanks to the real-time embodied interaction and virtual set technology. http://www.kickasskungfu.net/en/index.html

色彩量化(Color Quantization)

今天專研學生負責做變色龍 (即時視訊特效處理主題之一) 的 文全 與 柏凱 到實驗室來,
展示他們最近的實驗成果給我和黃老師看, 並討論進一步要做什麼?

當他們把系統弄好, 拿出一包小學生常用的色紙, 黃老師就直誇他們有在用腦筋思考, 很不錯!

果然, 在展示時, 也呈現出不錯的實驗成果。當系統偵測出改變的顏色時, 畫面中的黃口攀蜥也慢慢改變了顏色。不過, 由於光影的影響, 系統無法正確取出原來色紙的顏色, 所以感覺到顏色的變化並不明顯。經過討論後, 我們決定在系統中加入色彩量化(Color Quantization) 的功能, 希望能降低環境光影的影響。當系統計算出變化區域的平均色彩時, 先對平均色彩 (r, g, b) 做量化處理, 然後再對整張變色龍的影像做色彩上的改變。

另外, 除了擷取 WebCam 影像中的色彩資訊做互動之外, 文全 也開始思考是否還有其他的資訊可以用來做其他的互動, 如背景圖片或前景主題圖片的的變換等等。首先, 我們想到的是停留時間的長短應該可以很容易計算出來....