Hi!AI 人臉辨識系統

組員 : 黃雅雯、江惠翎、蘇崇維

指導老師 : 陸清達 老師

Introduction

本應用程式之主要功能為AI人臉情緒辨識和3D互動式打招呼系統,主要使用Webcam擷取圖像的動作,再將擷取下的圖像輸入卷積神經網路進行人臉辨識以及情緒辨識,當辨識的人物身分與情緒不同,而播放對應的動畫。下圖為本系統之AI人臉辨認、情緒辨認流程圖;首先透過Webcam於固定時間擷取環境影像,然後使用Viola-Jones演算法將人臉範圍切割,並且盡可能將影像中全數人臉完整擷取,雖然包含非人臉的部份也允許。接下來使用訓練過的人臉卷積神經網路

(face Convolutional Neural Network, face CNN)進行人臉特徵判斷,將正確人臉範圍保留,同時刪除非人臉的範圍。接著透過第二層的CNN辨認關鍵人物,最後依據辨認結果播放對應的3D問候動畫。

專題介紹

動機與目的
專題運用
程式流程圖
程式操作流程
執行困難與解決方式
結論與建議
相關連結
動機與目的

 

現代科技日益發達,人工智慧的應用層面越來越廣泛,透過深度學習神經網路能夠大幅提升系統的功能,使用者對於人機系統的互動率也跟著增加,當互動性產生,就會進而讓使用者被這項裝置所吸引甚至產生興趣。”Hi!”打招呼是我們日常生活中頻繁出現的一項互動,人與人之間的相處也是從打招呼開始;在上課前往教室的路程中,可能因為沒睡好而覺得累、心情不佳,或是當天有一連串的課程要聆聽,那麼就和”Hi!AI!”打聲招呼吧!「停一停,留下好心情」,因此我們透過AI辨識人臉情緒,並且播放對應情緒的3D動畫呈現更有趣、更吸引人的畫面,歡迎大家一起來體驗。

專題運用
本專題成果將應用在資傳系藝廊(如圖一所示),放置螢幕連接電腦 Webcam 擷取暫定螢幕前人物影像,播放不同動畫以及問候語,讓教授、學生不管是因為上課、下課或是純粹經過藝廊的途中都能感受到「停一停,留下好心情。」
圖一 系統應用呈現圖
程式流程圖

程式操作流程

  • 當使用者站立在攝影機前便會擷取圖像並輸入到神經網路CNN裡作圖像辨識(人臉身份辨識、情緒辨識)。 
  •  擷取臉部範圍圖像後進行 CNN 訓練,並且進行人物身分辨認。
  • 在人臉影像中,進一步擷取嘴巴以及眼睛範圍之圖像後進行CNN 訓練,並且進行人物情緒辨認。 
  • 若無人臉則呈現待機的動畫,若是關注的人物,則向關注人物打招呼,並且播放對應情緒的動畫。 

本專題利用人工智慧學習辨識人臉圖像及情緒圖像最佳之成效,試圖解決裝置互動時,並未偵測到人臉或是辨識物體為人臉的問題。

首先利用 Webcam[6]擷取動態影像分析人臉,並將人臉數據輸入進去我們訓練好的卷積神經網路(CNN)進行比對,若比對結果為特定的人及情緒,即電視螢幕上就會有特定性的打招呼 3D 動畫,如沒有人經過將會在電視螢幕上呈現隨機的待機 3D 動畫,實現人機互動、人臉辨識、情緒辨識以及 3D 動畫的結合。

執行困難與解決方式
利用Webcam 擷取動態影像分析人臉,並將人臉數據輸入進去我們訓練好的卷積神經網路(CNN)進行比對,不過也會產生圖像訓練不佳的狀況,辨識度不高等等,解決方法就是增加神經元的層數以及增加訓練資料量來提高它的辨識率。
結論與建議
在執行本專題期間要不斷充實自己的技術並查找多方資料,遇到了很多的困難,更認知了自己的不足,但也學習到了更多不同的知識,也使自己的專業能力更加提升並如期完成專題,跌跌撞撞中,組員們都發覺自己進步了不少,同時小組間溝通和工作分配都是能夠培養我們獨力完成事項的方式,也希望我們的努力可以被眾人看見,即便只有一點點,只要有人能夠因為我們的專題得到啟發或是靈感,並讓更多人認識到資訊傳播學系所學到的是多面向的成長包括 AI 人工智慧和 3D 建模動畫,這就是我們所希望的
相關連結

成果報告書  第二次發表   第三次發表   第四次發表
發表PPT 第二次發表   第三次發表   第四次發表
海報 點此下載
發表回覆單 第二次發表   第三次發表   第四次發表
成果集 點此前往
社群連結 Facebook  Instagram  

期許自己能夠不管遇到任何困難都能笑著面對。



應用展示影片

GUI介面的操作

https://youtu.be/8C8aDOxnHaQhttps://youtu.be/rIbomPmArGM





作品相關標籤

屬性  遊戲軟體3D動畫環境互動傳播行銷應用軟體
類型  溫暖
主角  同學
情節  友誼學習
場景  學校
風格  Q風格
互動 

提案:高      口頭報告:高

學習:高      程式設計:高

討論:無      分鏡腳本:高 

分析:無      虛擬影視:低

策展:高      網頁設計:高

攝影:中      2D繪圖:低

劇本:高      3D  CG:高

點閱: 3875

51 thoughts on “Hi!AI 人臉辨識招呼系統”

  1. 想到可以用在媒體商品上,比方說螢幕中的角色可以判讀你的表情來跟你對話。

  2. 把AI人臉情緒辨識利用在商業上,可以爲消費者提供更多不一樣的服務,在體驗上也更加舒服。

    1. 是的!我們希望我們的程式有更多不同的應用!也謝謝你的讚美!這是我們很大的動力! ε٩(๑> ₃ <)۶з

    1. 謝謝讚美!希望我們的作品可以讓人對於新科技有更多的想法及應用!(๑´ㅂ`๑)

    1. 我們小組很盡心盡力在製作這個作品!能讓你看到我們的努力我們很開心!(´///☁///`)

  3. 可以利用人臉辨識去開創遊戲,也可以開發在商業應用上甚至可以往公共服務類別發展,像是人臉辨識可以提供執法者追擊犯人,還可以讓社工有一些人臉辨識系統有利辨識等等

  4. 從一開始完全沒有到現在看你們完成真的覺得很厲害!!這段時間辛苦了☺

  5. First-rate site I tend to be of the same opinion with most of what you wrote. I would like to see more posts on this. I will bookmark and come back.

  6. Superb blog you have here but I was curious if you knew of any forums that cover the same topics talked about in this article? I’d really love to be a part of community where I can get suggestions from other knowledgeable people that share the same interest. If you have any recommendations, please let me know. Bless you!

發佈回覆給「TimothyAmoug」的留言 Cancel Reply

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *