斯坦福究警告：不要迷信大模型涌現是度量選擇結果

2023-05-04 14:52:42 編輯：上官容紫來源：

導讀斯坦福大學的研究者對于LLM涌現能力這一說法有一定的質疑，認為這是人為進行選擇度量方式最終所產生的結果，涌現是指在小模型當中不存在，

斯坦福大學的研究者對于LLM涌現能力這一說法有一定的質疑，認為這是人為進行選擇度量方式最終所產生的結果，涌現是指在小模型當中不存在，而出現在大規模模型當中的一種能力，沒有那么多的奇跡會出現。

根據斯坦福大學研究者最新的研究情況，大模型的涌現能力和任務在評價方面指標設置的強度有一定的關系而不是在特定任務和規模下模型行為所發生的一種基本性質的變化，將一些指標變得更為連續和平滑之后，涌現的這種現象就不會十分明顯而適合現行更為接近。

涌現能力首先是在GPT-3這一個家族系列當中發現，在后續的工作過程中，對于這一發現再次做出了強調，表示特定的任務上有一些性能在規模上有時是比較難預測的涌現，這種涌現出來的能力讓人感覺到較為驚訝。所以突然特定出線的能力方面的擴展也被認為是大型語言模型其中的兩個定義的特征其中之一。

斯坦福大學研究者對于特定任務中輸出作為模型規模的函數涌現性以及不可預測的變化作出了質疑，在模型組出現錯誤率的情況，跟隨著模型規模的增加會更為持續平滑并且發生可以預測到的一些變化，看似突然出現了一些不可預測的尖銳程度的變化，很可能是研究者在測量方法上選擇的不同引起的現象。

這就意味著表現這種能力可能是一種虛假的情況，一部分原因是因為在測試數據上擁有太少，對于較小模型的性能不能夠準確地做出估計，另一部分原因是因為對于大規模的模型過少的做出了估計。

標簽：斯坦福究選擇結果

免責聲明：本文由用戶上傳，如有侵權請聯系刪除！

本站除標明“本站原創”外所有信息均轉載自互聯網版權歸原作者所有。

郵箱：toplearningteam#gmail.com (請將#換成@)

<button id="kgeuu"></button>

欧美日韩激情电影,久久亚洲精品毛片,日日夜夜天天综合入口,亚洲激情六月丁香