色彩資訊: 膚色

剛剛 兆廷 來和我討論他專研的 實驗結果, 發現直接對人做Sobel 運算, 找出 edge 後, 再做投影 (projection) 處理的結果, 並沒有辦法順利找到人臉五官的位置。因此, 我們決定再將處理的範圍想辦法縮小。

我們將整個處理程序整理了一遍, 重新思考每個環節所代表的意義。我們原先的作法是用背景圖將人與背景區隔開來, 然後就直接對人做處理, 希望可以找出五官的位置。處理的方式是選取效果比較好的色彩做 Sobel 運算, 然後做投影處理。

如果我們想要縮小處理的範圍, 原先我們所忽略掉的色彩資訊, 這時候似乎可以派上用場。如果先對人做 color labeling, 然後針對每個 label 的平均色彩與面積大小, 位置資訊去排除不可能是膚色的 label。希望透過膚色label 框出我們要處理的範圍, 然後再做後續的投影處理, 找到五官的位置。

洛克人的危機

經過一個暑假的沉寂, 昨天專研洛克人戰士 ( 洛克人遊戲視訊控制介面之研發 ) 出現了 3 位, 其中有兩位同學 士華 和 毓麟 帶著自己新研發的武器。

士華 負責的研發內容是改造已經多次提供給使用者試玩的第一階段版本。這個版本的首次展出是在去年 電腦遊戲課程 的期末展示會。那一次的展出非常成功, 共獲得現場參觀師生 116 張選票, 獲選最受歡迎票選的專研學生組第一名。之後, 在今年春天的校慶當天, 在資訊大樓辦了一場 真人版洛克人大賽, 還有今年暑假的 銘傳資訊營 提供給小朋友體驗。經過幾次的實際操作, 目前 士華 的想法是提供使用者可以自行設計觸發區塊的介面, 讓玩家可以依照自己的體型或遊戲習慣來控制洛克人。



士華 這樣的想法和我今年初寫在隨身記事本上的想法一致, 希望能夠發展一套使用者可以自行量身訂做的控制器。屆時, 使用者參與設計的控制介面, 也會成為一個遊戲控制是否流暢的因素, 再者, 這樣的控制介面就可以適合於各種遊戲, 而不是僅限於玩洛克人了。

在遊戲的過程中, 玩家的位置可能會不自主性的移動, 這會造成觸發區塊的距離改變, 使得玩家必須分神注意自己的位置, 無法全神貫注於遊戲。毓麟 就是負責研發 解決方案。我們希望玩家的位置移動了, 觸發區塊會隨著玩家移動。

昨天出席的洛克人戰士還有 昇弘, 目前的研發都僅有想法而沒有實作, 因此並沒有討論應該如何繼續發展。至於其他消失許久的戰士們, 我們已經假設其已經在打工, 補習或其他的戰鬥中陣亡。10月14日就要專研總審了, 是否可以度過總審大危機, 洛克人戰士們也只能靠自己了！

Dice

星期四下午和 92 級專研 多媒體遊戲製作-教育應用 這組討論, 這是用來決定玩家在地圖中探險, 該前進幾步的骰子( dice )。 順安 寄過來的動畫有些問題, 所以我剛剛用 Ulead GIF Animator, 將每一個畫格的延遲時間, 移除方式等參數都調整過。

92 級的專研總審時間是訂在10/14 (六), 只剩下一個半月的時間了, 許多遊戲的細節都還沒有設計清楚, 更何況還有一些程式問題需要解決, 實在令人擔心。

Automatic White Balancing

昨天文全和柏凱來與我討論, 在 demo 系統時, 發生了一件有趣的事情, 就是當我們把藍色色紙放進攝影機拍攝範圍時, 整個畫面的背景就會自動呈現色偏的現象, 用其他色紙則沒有發生如此嚴重的情況。這樣的結果, 導致系統在偵測物件時, 發生了錯誤。如上左圖為背景, 右圖整個畫面的燈光變成暖色光源。

後來, 我與 梁老師 談到今天討論的情形, 就把兩張圖拿出來研究, 梁老師覺得應該是 WebCam 自動做了白平衡處理( white balancing )所導致, 必須把這個功能關閉, 再進一步實驗看看。

目前, 文全 和 柏凱 也同樣遭遇到光源變化的問題, 例如日光燈閃爍可能對取像的結果造成影響。這個因素與取像後與背景圖相減後, 該用多大的臨界值 (threshold) 來決定是否出現物體是密切相關的。這個問題其實在上學期就已經與可欣討論過, 我們打算從兩個角度切入, 試圖解決這個問題:
1. 必須自動偵測出環境中, 光影的影響程度。
2. 必須用更精確的方式, 計算出背景圖。
　

探險地圖

上週四學生專研 多媒體遊戲製作-教育應用 這組來報告目前的專研進度, 並展示目前所開發的一些小遊戲。

目前尚待完成的項目有:

A. 系統主程式與各個小遊戲之間的整合

例如: 背景圖的處理方式應該統一。

B. 探險遊戲地圖的細部設計

應該加入讓使用者切換成大地圖細看各個探險途徑的功能。
　

兩個主要顏色的情況

很明顯的, 這張照片中有兩個主要的色彩, 這也是昨天下午與 文全 和 柏凱 的討論主題。
假設的情況是畫面中擷取到兩個人穿著不同顏色的衣服, 在這種情況下, 使用原來的平均色演算法, 變色龍勢必無法變成和畫面中一致的顏色。

為了解決這個問題, 系統必須有能力去分析擷取的畫面中, 出現了幾個主要代表顏色。因此, 針對物件中的每個像素做 色彩量化 後, 必須同時統計每個量化後色彩的像素數量, 換句話說, 就是要做出色彩直方圖 (color histogram) 。

以前教的色彩直方圖, 大多是針對灰階影像, X 軸是 0 ～ 255 的灰階值, Y 軸則是像素數量。我們現在要做的則是針對量化後色彩的直方圖, 把 X 軸改成各個色彩就對了。

一般的直方圖無法顯示該色彩在影像中出現的位置(location), 為了提供位置資訊, 我們決定另外設計一張圖, 在圖中顯示各種色彩的球, 球的位置就是該色彩的重心位置, 球的大小代表該色彩的像素數量。
　

當光源不同時

這是 兆廷 和 全譽 昨天下午的專研實驗結果。

在這張圖片中, 臉的五官只出現了左邊一半, 右半邊臉的黑掉了!
目前的作法是把底下兩張圖相減後, 再直接取二值化。


背景圖


取像圖

昨天我們討論時, 一直圍繞在光源所造成的影響與該如何克服光源的影響, 不過, 今天下午我對著那張黑掉半邊臉的圖片想了好久, 也許做 Sobel Operation 會有比較好的結果才對。
　

Kick Ass Kung-Fu

這個作品來自於芬蘭(Finland) , 是連續三年被「世界經濟論壇」(World Economic Forum, WEF) 評比為「成長競爭力」全球第一名的國家, 真是一個了不起的國家。對芬蘭有興趣的人, 可以去書局或圖書館找一本今年六月剛出版的新書「芬蘭驚艷」來閱讀。

Kick Ass Kung-Fu is an immersive game installation that transforms computer gaming into a visual, physical performance like dance or sports. You can fight and defy gravity like kung-fu movie actors - only there's no wires or post-production needed, thanks to the real-time embodied interaction and virtual set technology. http://www.kickasskungfu.net/en/index.html

色彩量化(Color Quantization)

今天專研學生負責做變色龍 (即時視訊特效處理主題之一) 的 文全 與 柏凱 到實驗室來,
展示他們最近的實驗成果給我和黃老師看, 並討論進一步要做什麼?

當他們把系統弄好, 拿出一包小學生常用的色紙, 黃老師就直誇他們有在用腦筋思考, 很不錯!

果然, 在展示時, 也呈現出不錯的實驗成果。當系統偵測出改變的顏色時, 畫面中的黃口攀蜥也慢慢改變了顏色。不過, 由於光影的影響, 系統無法正確取出原來色紙的顏色, 所以感覺到顏色的變化並不明顯。經過討論後, 我們決定在系統中加入色彩量化(Color Quantization) 的功能, 希望能降低環境光影的影響。當系統計算出變化區域的平均色彩時, 先對平均色彩 (r, g, b) 做量化處理, 然後再對整張變色龍的影像做色彩上的改變。

另外, 除了擷取 WebCam 影像中的色彩資訊做互動之外, 文全 也開始思考是否還有其他的資訊可以用來做其他的互動, 如背景圖片或前景主題圖片的的變換等等。首先, 我們想到的是停留時間的長短應該可以很容易計算出來....
　

洛克人大挑戰

資訊營的小朋友是第一批玩真人版洛克人的小孩,
他們的試玩經驗, 提供給發展系統的大哥哥們寶貴意見。



挑戰者: 葉騏 與 宇辰

葉騏 : 用人控制的洛克人, 我從來沒有玩過, 很刺激, 很好玩。不過, 洛克人會跳得比較慢。

宇辰 : 用鍵盤玩, 我一定贏, 因為我用鍵盤可以打過全部! 我還可以同時按兩個鍵!

用人控制就很難, 我希望可以再玩。









因為身高不夠, 所以只好拿一包紙巾, 大哥哥要改進系統喔...

92 級專研的初審文件 二版

1. 多媒體遊戲製作-教育應用
wiki 版本: http://iammaytoo.pbwiki.com/Project%20Paper

2. 洛克人遊戲視訊控制介面之研發
wiki 版本: http://realrockman.pbwiki.com/paper

3. 即時視訊特效處理
wiki 版本: http://drawman.pbwiki.com/%E5%88%9D%E5%AF%A9%E6%96%87%E4%BB%B6
　

Logitech Video Effects

這是羅技所開發的新軟體 Logitech Video Effects , 可以直接在羅技的網站下載, 不過要搭配相容的羅技機型才能使用。 專研的同學可以想想這些功能底層的技術是什麼? 哪些是我們可以做到的? 哪些 ideas 可以放到我們正在發展的遊戲中?
　

Wii Trailer

engadget: Wiimode 手把官方版
engadget: Nintendo Wiimote 親手把玩



E3 06: Nintendo Wii Controller Hands-On

92 級專研的初審文件

經過第一輪的相互分享與建議後, 各組的文件已經初具雛形了！現在要進行第二輪的相互分享與建議, 請各組將更新完的初審文件, 再次放到自己的部落格中, 給另一組閱讀！也就是說, 每一個人都要讀到另外兩組的初審文件, 寫兩份閱讀後建議。

看起來, 每一位同學都要很辛苦地閱讀其他兩組的文件, 可是, 相對的, 自己卻可以獲得其他兩組同學, 一共 12 篇寶貴意見！這個投資怎麼算都是值得的, 回饋達到付出的六倍之多！

閱讀別人的文件, 你可以看到別人的缺點, 提出誠懇的建議, 使別人獲益！也可以看到別人的優點, 可以用來改善自己的文件, 使自己獲益！大家都獲益, 這就是 Web 2.0 的精神!

第一版初審文件下載:
1. 多媒體遊戲製作-教育應用
2. 洛克人遊戲視訊控制介面之研發
3. 即時視訊特效處理
　

真人版的洛克人大賽開始熱身!

這張圖片是 2006/03/21 校慶前的熱身賽!

對了, 我們的攝影機掉了, 請全校同學幫忙協尋,
圖片左邊就是由檯燈改裝而成的 WebCam!
請拾獲的同學, 送到 S207 互動媒體實驗室, 謝謝!

92 專研會議進行方式

未來專研會議進行方式, 經過我與黃老師再次討論後, 決定由原來的兩階段進行方式, 修改成三階段。

分別如下:

1. 各組組長進行專研進度報告。(3*5=15分鐘)
2. 個人遭遇問題的陳述與討論。(15~30分鐘)
3. 92 級同學的經驗分享與傳承。(30分鐘)

92 級專研各組請盡速建立一個部落格。

1. 結合教育功能之視訊互動遊戲
2. 洛克人遊戲視訊控制介面之研發
3. 即時視訊特效處理

另外, 專研同學個人進度的部落格請移至無名小站, 方便同學互動與討論!

93 級想找我和黃老師一起做專研的同學, 請直接參加專研會議, 藉此熟悉專研的進行方式, 並於一學期後提出自己的專研計劃書後, 我們才確認你加入我們的專研團隊。