• 2021.09.23
    星期四

AI偵測動作連微表情 手語遊戲認識聽障世界

[2021.09.23] 發表
中大手語及聾人研究中心助理電腦主任鄭家耀指出,手語的動作細微,團隊研發的手語識別系統會持續改良,以識別更多手語。(劉焌陶攝)
Google以代表「手語」一詞的手勢,創作造型可愛的遊戲角色,玩家以手語發出指令,供電腦鏡頭辨識,讓角色完成在餐廳點菜、入住酒店等任務。(劉焌陶攝)

【明報專訊】今日是國際手語日。中大聯同Google及日本關西學院大學研發一款多語言網上手語遊戲,玩家玩遊戲時需以手語發出指令讓電腦鏡頭辨識,角色進入虛擬小鎮「手語村」後,要以準確手語完成在餐廳點菜、入住酒店等任務,從中學習港日兩地手語及聾人文化。中大手語及聾人研究中心副主任施婉萍指出,冀遊戲能增加大眾對手語的認知及接受程度,從而明白即使聽力健全者亦可學習手語,與聽障人士溝通。團隊希望長遠研發自動翻譯模型,將手語影像翻譯為文字。

附聾人生活小知識 冀手語譯成文字

「手語村」分別設日本及香港版,兩版本暫各有36個手語詞語;團隊自去年4月起研發,今年5月在兩地試用,已累積逾8500人使用。遊戲玩家進入「手語村」,要穿襯衫還是外套?吃意粉還是牛扒?遊戲會顯示不同選項的手語示範片段,須由玩家做出手語作選擇,手語打得準確,系統才能識別,玩家只需一台配備鏡頭的電腦,便能寓學習於娛樂,透過遊戲練習手語。遊戲角色亦附有聾人文化小知識,例如講解聾人是透過有閃光和震動的鬧鐘喚醒等。

遊戲透過鏡頭及人工智能技術偵測玩家肢體動作、面部表情及手部動作,解讀手語。中大手語及聾人研究中心助理電腦主任鄭家耀說,手語除了手部動作,亦依賴面部表情作識別,如「開心」一詞,需依賴表情表達快樂的程度。遊戲中每個詞語收集近百人的手語數據,由團隊及手語母語者,分析每個詞語的手部、肢體動作及表情對識別該詞語的重要性,計算3個部分各自的所佔比重,有別於過往類似的手語識別系統只將3項比重均分,更能準確辨識手語。

各地手語有別 研Google翻譯打破界限

Google團隊以兩地「手語」一詞的手勢作藍本,創作兩個造型可愛的角色。施婉萍稱,各地手語均有差別,冀研發以Google翻譯,將各地手語譯作文字,便利聾人溝通。

該系統不會辨識玩家容貌,僅收集動作和表情,以助系統持續學習解讀手語。鄭家耀指,手語的動作細微,系統識別能力有限,如「機器」和「電車」的手語中,雙手要交疊,系統雖能辨別5隻手指,卻難辨認被遮蓋的手部動作;手語中「好」、「是」、「正確」的肢體動作相同,須依賴口形分辨。團隊日後會朝這些方向研究,助系統識別更多手語。

明報記者 譚希琳

更多港聞
【明報專訊】衛生防護中心轄下科學委員會上周中決定青少年減至接種一針復必泰新冠疫苗,截至本周日,過去一星期仍新增6宗青少年接種後出現懷疑心肌炎... 詳情
【明報專訊】本港昨日新增1宗新型冠狀病毒輸入個案,為一名已接種了兩劑復必泰疫苗的抵港菲傭,本港連續36日無本地確診。另竹篙灣檢疫中心接受外傭... 詳情
葵涌男墮樓揭毒窟 3女涉販毒被捕 檢值100萬元可卡因K仔 死者涉毒品案被通緝
【明報專訊】一名男子前晚於葵涌石蔭路金石樓高處墮下不治,警方調查期間於死者寓所檢獲市值約100萬元毒品,以涉嫌販毒拘捕3名女子,其中一為墮樓... 詳情
【明報專訊】香港天文台計劃在法定古蹟尖沙嘴天文台總部內,興建一座新副樓,以解決現時辦公室和設施空間不足的問題,同時擬翻新現有的「紅屋」,成為... 詳情
蝴蝶普查揭盅 鹿頸龍鼓灘成蝴蝶天堂
【明報專訊】綠色力量昨公布2020/21年度蝴蝶普查結果,在9個蝴蝶熱點錄得162種蝴蝶,佔全港蝴蝶物種總數約六成,包括44種罕見及非常罕見... 詳情

明報網站 · 版權所有 · 不得轉載
Copyright © 2021 mingpaocanada.com All rights reserved.
Ming Pao Daily News A wholly owned subsidiary of Ming Pao Enterprise Corporation Ltd.
Vancouver Chinese Newspaper

5368 Parkwood Place, Richmond B.C. V6V 2N1 | Tel.: (604) 231-8998 | Fax: (604) 231-9881/9884 | Advertising Hotline Tel.: (604) 231-8992