學人類預測下一句 納理大AI訓練

[2024.05.28] 發表

【明報專訊】人工智能(AI)聊天機械人技術不斷進步。理工大學研究團隊發現,如果在生成式AI的演算法訓練過程中,採用類似人類處理語言的方式,即模擬人腦預測前後句子關聯,有助聊天機械人的「大語言模型」更人性化地理解語言,「更接近人類智慧」。

團隊指現時「大語言模型」主要依賴上下文單詞預測的單一類型「預訓練」,然而人類平時理解語言不止預測下一個單詞,還會整合和理解高層次信息。團隊將模擬人腦評估句子連貫性的「下一句子預測(Next Sentence Prediction,NSP)」納入模型「預訓練」,並檢驗模型數據與腦活動的相關程度,發現NSP能強化「大語言模型」的能力,稱利用NSP預測前後句子如何互相關聯,與人類語義理解的神經模型非常琣X。研究最近刊於國際科學期刊Science Advances。

稱ChatGPT訓練方式局限多

團隊表示,近期如聊天機械人ChatGPT的「大語言模型」主要透過無限擴充訓練資料和模型規模,以提升能力,但率領研究的理大人文學院院長李平稱,單靠這種「極度擴展」的方式局限多,認為如想突破,就要將大模型變得「更像人腦那樣不需要海量數據,更高效益」。李平又指今次研究有助理解人類大腦有「加工語言」的高級機制,藉此促進AI研究和認知神經科學領域的研究員合作。

更多教育
書到用時:吶喊聲中的絕望和希望
【明報專訊】相距至今約一百年,魯迅的作品彷彿仍然陰魂不散。 中國人的自私、無知和庸俗,在今天的中國,仍然彷彿是「無遠弗屆」,然而更因為... 詳情
重讀魯迅的必要——理解國民的劣根性
【明報專訊】【書評】(圖) (第1段)「因為從那一回以後,我便覺得醫學並非一件緊要事,凡是愚弱的國民,即使體格如何健全,如何茁壯,也只... 詳情
朱sir教寫作:7方法  改善「表達」
【明報專訊】「表達」在寫作卷中,佔分30%。有些同學會覺得,自己文字表達欠佳,這個分數已成定局,一時間無法改變過來。其實,這種想法是錯誤的。... 詳情
【明報專訊】(1): (1)明知故犯 (2)口腹之慾 (3)營營役役 (4)墨守成規 (5)踴躍 (8)收穫... 詳情
朱sir教寫作:修辭關乎文章結構
【明報專訊】修辭不僅是文字表達,也關乎文章結構。有些文題,根本已設定了某種修辭的表述方式。不懂運用,用得不好,影響的也不止於表達分數。用得好... 詳情

明報網站 · 版權所有 · 不得轉載
Copyright © 2024 mingpaocanada.com All rights reserved.
Ming Pao Daily News A wholly owned subsidiary of Ming Pao Enterprise Corporation Ltd.
Toronto Chinese Newspaper

Chief Executive Officer: Ka Ming Lui | Executive Chief Editor: Richard Kwok Kai Ng
1355 Huntingwood Drive, Scarborough, Ontario, Canada M1S 3J1 | Tel.: (416) 321-0088 | Fax: (416) 321-5377 | Advertising Hotline Tel: (416) 673-8250