學人類預測下一句 納理大AI訓練

【明報專訊】人工智能(AI)聊天機械人技術不斷進步。理工大學研究團隊發現，如果在生成式AI的演算法訓練過程中，採用類似人類處理語言的方式，即模擬人腦預測前後句子關聯，有助聊天機械人的「大語言模型」更人性化地理解語言，「更接近人類智慧」。

團隊指現時「大語言模型」主要依賴上下文單詞預測的單一類型「預訓練」，然而人類平時理解語言不止預測下一個單詞，還會整合和理解高層次信息。團隊將模擬人腦評估句子連貫性的「下一句子預測(Next Sentence Prediction，NSP)」納入模型「預訓練」，並檢驗模型數據與腦活動的相關程度，發現NSP能強化「大語言模型」的能力，稱利用NSP預測前後句子如何互相關聯，與人類語義理解的神經模型非常�琣X。研究最近刊於國際科學期刊Science Advances。

稱ChatGPT訓練方式局限多

團隊表示，近期如聊天機械人ChatGPT的「大語言模型」主要透過無限擴充訓練資料和模型規模，以提升能力，但率領研究的理大人文學院院長李平稱，單靠這種「極度擴展」的方式局限多，認為如想突破，就要將大模型變得「更像人腦那樣不需要海量數據，更高效益」。李平又指今次研究有助理解人類大腦有「加工語言」的高級機制，藉此促進AI研究和認知神經科學領域的研究員合作。

更多教育

書到用時：吶喊聲中的絕望和希望

【明報專訊】相距至今約一百年，魯迅的作品彷彿仍然陰魂不散。 中國人的自私、無知和庸俗，在今天的中國，仍然彷彿是「無遠弗屆」，然而更因為... 詳情

重讀魯迅的必要——理解國民的劣根性

【明報專訊】【書評】（圖） (第1段)「因為從那一回以後，我便覺得醫學並非一件緊要事，凡是愚弱的國民，即使體格如何健全，如何茁壯，也只... 詳情

朱sir教寫作：7方法 改善「表達」

【明報專訊】「表達」在寫作卷中，佔分30%。有些同學會覺得，自己文字表達欠佳，這個分數已成定局，一時間無法改變過來。其實，這種想法是錯誤的。... 詳情

做一做：參考答案

【明報專訊】（１）： (1)明知故犯 (2)口腹之慾 (3)營營役役 (4)墨守成規 (5)踴躍 (8)收穫... 詳情

朱sir教寫作：修辭關乎文章結構

【明報專訊】修辭不僅是文字表達，也關乎文章結構。有些文題，根本已設定了某種修辭的表述方式。不懂運用，用得不好，影響的也不止於表達分數。用得好... 詳情