作者：Morty Lai
日前 ChatGPT 之父、 OpenAI 執行長山姆．奧特曼 (Sam Altman) 受邀來台出席一場論壇，現場吸引逾千人親臨此活動。Sam Altman 表示，任何科技都有出錯的可能性，重點就是要不斷修正，才會變得更好、才有創新的可能性。大部分的民眾都已經體驗過 ChatGPT 的魅力，不知道是用「英文」還是「中文」與它溝通呢？當使用 ChatGPT 時，是否會發現中文和英文提問可能產生不同的答案？這引發了一個自然的問題：是否存在一種科學的評測方法，可以幫助我們了解不同語言提示對結果產生的差異？常見的提示內容包含推理、知識訪問和表達，目前有眾多研究採用系統化的方法來評估不同語言提示的效果差異。
推理任務是基於訊息和邏輯原則解決問題，像是數學問題和常識推理。數學問題是使用數學原則和邏輯來推理解決問題，例如詢問GPT」如果約翰有5個蘋果，然後給了瑪麗2個，約翰還剩下多少蘋果？」，不論是使用中文或翻譯為英文進行詢問，都可以得到「約翰還剩下3個蘋果」的結論。這是因為推理任務可以使用普遍的語言元素，或不依賴語言獲得的常識，所以在使用不同語言的提示下，仍可獲得一致的結果。常識推理則是根據日常生活經驗和知識，像是」太陽已經下山，街道上的燈已經亮起」這些資訊，可以推斷出」現在是晚上」，而不同的語言和文化可能會影響到常識推理的結果，但數學推理是不受這些因素的影響。
在知識訪問的任務中，是將語言模型視為一種知識庫。由於這些知識是用文字來描述的，所以不同語言的文字和詞彙可能會帶來不同的解讀。雖然很多知識是普遍存在的，但在不同的語言中，可能會有不同的表述方式。以闡述「幸災樂禍 (Schadenfreude) 」 這個概念為例，當使用「Can you explain the concept of “Schadenfreude”」和 「解釋什麼是 “Schadenfreude”」這兩個提示時，儘管兩者在語意上都詢問同一概念，但回覆的風格和深度可能會有所不同。若使用 GPT4 對於 ChatGPT 的回覆進行分析，可以知道英文回覆提供更多的背景、細節和深入的分析，而中文回覆更為簡潔和直接。
表達任務涉及使用特定語言來準確地傳達意思，如封面信寫作、文章摘要、對話生成等。由於每種語言都有其獨特的語法和詞彙，能否使用正確或合乎社會習慣的內容，這對使用者而言可能至關重要。以商業信件為例，若是僅僅直接將英文內容翻譯到日文，可能如適當的稱呼、恰當的敬語，甚至是信件的開頭和結尾，會和日本商業文化和期望有所落差。因此，衡量 ChatGPT 生成內容的品質時，不僅要考慮語意正確性，也要注意文化內涵。目前，眾多研究正針對各類任務評估英文、中文、德文、俄文等不同主流語言的效能，在基本常識推理還是純數學推理，英文提示都展現出卓越的表現。然而，儘管英文是最為普及的語言且擁有豐富的資料基礎，但當涉及知識訪問時，由於提示內容的細微差異，英文不一定能夠提供最為準確的答案。
開發《KEYPO大數據關鍵引擎》最新「GPT智能輿情分析」功能時，大數據(股)公司綜合運用了先前的AI模型知識、軟體工程技能及資料處理方法，並在提示工程領域做出更多創新與深化。同時，也注意到運用提示語言的細微差異，會對報告品質的產生影響，這不僅是《KEYPO大數據關鍵引擎》最新「GPT智能輿情分析」功能背後無形的巧思之一，也代表著開發團隊對於滿足企業品牌對於網路輿情、市場趨勢、競爭對手動態，或緊急事件需求的持續努力與熱情。
想了解更多全台首創結合「GPT 智能輿情分析」的《 KEYPO 大數據關鍵引擎》輿情分析系統強大功能了嗎？請立即與我們聯絡以取得更多資訊。
Image by Freepik