国产av剧情不卡,人妻无码喷潮上位,天天久久av每天,国产一区二区三区日韩精品

壓縮算法為大語言模型“瘦身”

來源:科技日報
2024-11-23 08:47 
分享
分享到
分享到微信

原標(biāo)題:壓縮算法為大語言模型“瘦身”

據(jù)美國科學(xué)促進會旗下網(wǎng)站19日報道,美國普林斯頓大學(xué)和斯坦福大學(xué)團隊開發(fā)出一種新壓縮算法CALDERA,能精簡大型語言模型(LLM)的海量數(shù)據(jù),為LLM“瘦身”。這項算法不僅有助保護數(shù)據(jù)隱私、節(jié)約能源、降低成本,還能推動LLM在手機和筆記本電腦上高效使用。

團隊舉例稱,當(dāng)人們使用ChatGPT時,請求會被發(fā)送到OpenAI公司的后端服務(wù)器進行處理。這一過程不僅成本高昂、能耗巨大,通常還很慢。如果用戶想要使用消費級圖形處理單元運行LLM,就需要對這些LLM進行壓縮。

CALDERA算法通過減少LLM冗余并降低信息層的精度來發(fā)揮作用?!笆萆怼焙蟮腖LM更加精簡,可在手機或筆記本電腦等設(shè)備上存儲和訪問,同時提供了與未壓縮版本幾乎一樣準(zhǔn)確而微妙的性能。

雖然CALDERA并非首個壓縮LLM的算法,但其獨特之處在于兼具“低精度”和“低排序”兩種特性。其中,“低精度”減少了比特數(shù),加快了數(shù)據(jù)存儲和處理速度。而“低排序”則降低了LLM數(shù)據(jù)中的冗余。

團隊表示,使用CALDERA壓縮的LLM可能適用于那些對精度要求不是最高的場景。此外,用戶可在智能手機或筆記本電腦等設(shè)備上對壓縮后的LLM進行微調(diào),這使其能根據(jù)特定需求調(diào)整模型來增強隱私,而無需與第三方共享敏感數(shù)據(jù)。

不過團隊也提醒道,在智能手機或筆記本電腦上運行LLM,可能會占用設(shè)備內(nèi)存。(記者 劉霞)

【責(zé)任編輯:張瑨瑄】

為你推薦

換一批
中國日報網(wǎng)版權(quán)說明:凡注明來源為“中國日報網(wǎng):XXX(署名)”,除與中國日報網(wǎng)簽署內(nèi)容授權(quán)協(xié)議的網(wǎng)站外,其他任何網(wǎng)站或單位未經(jīng)允許禁止轉(zhuǎn)載、使用,違者必究。如需使用,請與010-84883777聯(lián)系;凡本網(wǎng)注明“來源:XXX(非中國日報網(wǎng))”的作品,均轉(zhuǎn)載自其它媒體,目的在于傳播更多信息,其他媒體如需轉(zhuǎn)載,請與稿件來源方聯(lián)系,如產(chǎn)生任何問題與本網(wǎng)無關(guān)。
版權(quán)保護:本網(wǎng)登載的內(nèi)容(包括文字、圖片、多媒體資訊等)版權(quán)屬中國日報網(wǎng)(中報國際文化傳媒(北京)有限公司)獨家所有使用。 未經(jīng)中國日報網(wǎng)事先協(xié)議授權(quán),禁止轉(zhuǎn)載使用。給中國日報網(wǎng)提意見:rx@chinadaily.com.cn
  • <tfoot id="qq0qq"><noscript id="qq0qq"></noscript></tfoot>
    <nav id="qq0qq"><sup id="qq0qq"></sup></nav>
    
    
  • <blockquote id="qq0qq"><strong id="qq0qq"></strong></blockquote>
    <noscript id="qq0qq"><dd id="qq0qq"></dd></noscript>
    <sup id="qq0qq"></sup>
    <noscript id="qq0qq"><dd id="qq0qq"></dd></noscript>
  • <small id="qq0qq"></small>
  • <sup id="qq0qq"><code id="qq0qq"></code></sup>