作者:Morty Lai
日前 ChatGPT 之父、 OpenAI 執行長山姆.奧特曼 (Sam Altman) 受邀來台出席一場論壇,現場吸引逾千人親臨此活動。Sam Altman 表示,任何科技都有出錯的可能性,重點就是要不斷修正,才會變得更好、才有創新的可能性。大部分的民眾都已經體驗過 ChatGPT 的魅力,不知道是用「英文」還是「中文」與它溝通呢?當使用 ChatGPT 時,是否會發現中文和英文提問可能產生不同的答案?這引發了一個自然的問題:是否存在一種科學的評測方法,可以幫助我們了解不同語言提示對結果產生的差異?常見的提示內容包含推理、知識訪問和表達,目前有眾多研究採用系統化的方法來評估不同語言提示的效果差異。
推理任務是基於訊息和邏輯原則解決問題,像是數學問題和常識推理。數學問題是使用數學原則和邏輯來推理解決問題,例如詢問GPT」如果約翰有5個蘋果,然後給了瑪麗2個,約翰還剩下多少蘋果?」,不論是使用中文或翻譯為英文進行詢問,都可以得到「約翰還剩下3個蘋果」的結論。這是因為推理任務可以使用普遍的語言元素,或不依賴語言獲得的常識,所以在使用不同語言的提示下,仍可獲得一致的結果。常識推理則是根據日常生活經驗和知識,像是」太陽已經下山,街道上的燈已經亮起」這些資訊,可以推斷出」現在是晚上」,而不同的語言和文化可能會影響到常識推理的結果,但數學推理是不受這些因素的影響。
![](https://news.big-data.tw/wp-content/uploads/2023/10/01-1024x682.png)
在知識訪問的任務中,是將語言模型視為一種知識庫。由於這些知識是用文字來描述的,所以不同語言的文字和詞彙可能會帶來不同的解讀。雖然很多知識是普遍存在的,但在不同的語言中,可能會有不同的表述方式。以闡述「幸災樂禍 (Schadenfreude) 」 這個概念為例,當使用「Can you explain the concept of “Schadenfreude”」和 「解釋什麼是 “Schadenfreude”」這兩個提示時,儘管兩者在語意上都詢問同一概念,但回覆的風格和深度可能會有所不同。若使用 GPT4 對於 ChatGPT 的回覆進行分析,可以知道英文回覆提供更多的背景、細節和深入的分析,而中文回覆更為簡潔和直接。
![](https://news.big-data.tw/wp-content/uploads/2023/10/02-1.png)
表達任務涉及使用特定語言來準確地傳達意思,如封面信寫作、文章摘要、對話生成等。由於每種語言都有其獨特的語法和詞彙,能否使用正確或合乎社會習慣的內容,這對使用者而言可能至關重要。以商業信件為例,若是僅僅直接將英文內容翻譯到日文,可能如適當的稱呼、恰當的敬語,甚至是信件的開頭和結尾,會和日本商業文化和期望有所落差。因此,衡量 ChatGPT 生成內容的品質時,不僅要考慮語意正確性,也要注意文化內涵。目前,眾多研究正針對各類任務評估英文、中文、德文、俄文等不同主流語言的效能,在基本常識推理還是純數學推理,英文提示都展現出卓越的表現。然而,儘管英文是最為普及的語言且擁有豐富的資料基礎,但當涉及知識訪問時,由於提示內容的細微差異,英文不一定能夠提供最為準確的答案。
開發《KEYPO大數據關鍵引擎》最新「GPT智能輿情分析」功能時,大數據(股)公司綜合運用了先前的AI模型知識、軟體工程技能及資料處理方法,並在提示工程領域做出更多創新與深化。同時,也注意到運用提示語言的細微差異,會對報告品質的產生影響,這不僅是《KEYPO大數據關鍵引擎》最新「GPT智能輿情分析」功能背後無形的巧思之一,也代表著開發團隊對於滿足企業品牌對於網路輿情、市場趨勢、競爭對手動態,或緊急事件需求的持續努力與熱情。
想了解更多全台首創結合「GPT 智能輿情分析」的《 KEYPO 大數據關鍵引擎》輿情分析系統強大功能了嗎?請立即與我們聯絡以取得更多資訊。
Image by Freepik