10 月 24 日消息，生成式 AI 的確在信息整理方面大有用處，生成的內容也常令人驚嘆，但只要仔細一看，就能發現這項技術仍存在不少缺陷。
據外媒 Android Authority 今日報道，歐洲廣播聯盟（EBU）與 BBC 近日聯合評估了 ChatGPT、Gemini 及 Perplexity 等多款 AI 系統在新聞摘要方面的表現。研究動因在于，現有約 15% 的 25 歲以下年輕人主要通過 AI 獲取新聞。
BBC 最初通過大規模問卷調查及六場焦點小組訪談收集公眾對 AI 新聞工具的使用體驗與看法，隨后 EBU 將這項研究擴展至國際范圍。
研究顯示，約 42% 的英國成年人表示信任 AI 內容的準確性，年輕群體的信任度更高。不過，84% 的受訪者認為，一旦出現事實性錯誤，將嚴重削弱自己對 AI 的信任。問題在于，這些系統的“不準確度”究竟為何，以及用戶是否真的察覺到了這些錯誤。
結果顯示，大多數 AI 生成的內容都存在問題。各模型整體表現差距不大，但 Gemini 成為明顯“異類”，不僅錯誤數量最多，嚴重錯誤的比例也遠高于其他系統。
研究指出，Gemini 的問題主要包括：缺乏清晰的資料來源鏈接、未能區分可靠信息與諷刺內容、過度依賴維基百科、缺乏足夠語境，以及錯誤引用原文。
在六個月的研究周期中，各大 AI 系統的表現都有改進，新聞摘要的準確率普遍提升，Gemini 的進步尤為明顯。但即使如此，Gemini 的表現仍明顯落后于其他系統。