<noscript id="jwsho"><legend id="jwsho"></legend></noscript>
<ins id="jwsho"><video id="jwsho"><var id="jwsho"></var></video></ins><tr id="jwsho"></tr><output id="jwsho"></output>
  • <menuitem id="jwsho"></menuitem>

      <menuitem id="jwsho"></menuitem>

      1. 展會信息港展會大全

        2024AI大趨勢:“大模型”進入“小時代”?
        來源:互聯網   發布日期:2023-12-25 18:57:29   瀏覽:3300次  

        導讀:當前,人工智能領域正在嘗試開發更小型、成本更低的AI模型,這可能會使AI技術更加普及和易于使用。 有人工智能專家預測,預計到2024年,小型語言模型將在特定任務部署AI的公司中發揮更大的作用。 OpenAI CEO、人工智能界當之無愧的先行者Sam Altman也承認:...

        當前,人工智能領域正在嘗試開發更小型、成本更低的AI模型,這可能會使AI技術更加普及和易于使用。

        有人工智能專家預測,預計到2024年,小型語言模型將在特定任務部署AI的公司中發揮更大的作用。

        OpenAI CEO、人工智能界當之無愧的先行者Sam Altman也承認:

        “大模型”時代可能走向結束,未來我們會通過其他方式來改進它們。”

        大模型的局限性

        當前大模型在成本和計算需求方面有局限性。

        過去五年來,AI領域通常以參數的數量來衡量一個模型的能力。參數越多,通常意味著模型能處理更復雜的任務,展示出更強的能力。

        例如,最大模型的參數數量每年增加了十倍或更多,每次增加都帶來了意想不到的能力擴展,如編程和翻譯能力。所以大型神經網絡模型通常被認為性能更優。

        有觀點指出:

        “以參數數量作為能力或風險的衡量標準過于粗糙,我們應更關注模型的實際使用方式。”

        這些大模型使用的參數數量極多(有的超過1000億個),每個參數都需要計算資源來處理。盡管大模型(如GPT系列)在技術上領先,但這些模型往往規模龐大且對計算資源的需求極高。每當大模型在能力上有顯著提升時,它們的訓練和運行成本也急劇上升。即便這些模型是開源的,許多研究者和小型企業也難以承擔其所需的昂貴計算成本。

        不僅如此,許多AI研究者在這些模型的基礎上進行迭代開發,以創造適用于新工具和產品的自己的模型,但大模型的復雜性也讓其變得困難。

        監管對大模型也有所擔憂,并且對大型LLM的監管趨于嚴格。例如,美國政府在去年10月底發布的一項行政命令要求對制造“雙用途”基礎模型的公司,如那些擁有“數十億參數”的模型,實施更高透明度要求。

        小模型的優勢

        在某些特定任務上,小型、高效的AI模型可能比大模型更適用。

        正如專注于人工智能和機器學習的技術公司Snorkel的Matt Casey寫道:

        “在某些任務上使用大模型就像是“用超級計算機玩《青蛙過河》。”

        雖然大模型在處理復雜任務上有優勢,但并不是每個任務都需要這樣強大的計算能力。

        小語言模型的優勢數不勝數。

        更低的資源需求。小模型通常需要更少的計算資源來訓練和運行,這使得它們更適合在計算能力有限的設備上使用,例如,小模型可以直接安裝在用戶的電腦或智能手機上,這樣就不需要與遠程數據中心連接。

        更低的成本。小模型在訓練和部署時需要的計算資源較少,這直接導致了較低的運行和維護成本。

        更好的隱私保護。小模型可以在本地設備上運行,而無需將數據發送到云端服務器,這有助于提高數據處理的隱私性。有助于提高數據安全性。

        更快的處理速度。由于參數較少,小模型在處理請求時的響應時間通常更短,這對于需要實時反應的應用尤其重要。

        研究人員正在努力開發出更孝更高效的AI模型,縮減它們的參數數量,同時保證它們在特定任務上能夠達到甚至超越大模型的表現。

        一種方法是“知識蒸餾技術”,與傳統的預訓練不同,“蒸餾技術”的意思是使用一個大型的“教師”模型來指導一個小型的“學生”模型的訓練。用“蒸餾”方式訓練小模型,不再直接從訓練大模型時會用到的那些巨量數據中學習,而只是在模仿。就像一個學生不會學到老師的全部知識庫,但在針對性的領域,ta可以獲得和教師差不多水平的考試表現。

        Carnegie Mellon大學的計算機科學教授Graham Neubig說:

        “通常情況下,你可以創建一個小得多的專門模型來處理特定任務。這種小模型雖然不具備大模型的廣泛適用性,但在特定任務上可以表現得非常出色。”

        Neubig教授和他的合作者在一個實驗中開發了一個比GPT模型小700倍的模型,并發現它在三項自然語言處理任務上的表現超過了大型GPT模型。

        小模型表現出色的例子有很多。

        例如,微軟的研究人員最近也發報告稱,他們能夠將GPT模型縮減成一個參數僅略超10億的小模型。這個小模型能夠在某些特定任務上與大模型相媲美。

        再者,今年7月,Meta的開源Llama 2,推出了三個版本,參數范圍從7億到70億不等。還有,為金融應用設計的BloombergGPT只有50億參數。盡管這些模型的參數數量相對較少,但它們在多項任務上的表現都優于類似模型,顯示了小模型的潛力。

        小型語言模型的局限性

        然而,這些優勢通常是以犧牲一定的性能為代價的。一些研究顯示,但小型“學生”模型可能只在一定范圍內的任務上表現出色。大型“教師”模型由于其龐大的參數數量和復雜的結構,通常在理解和生成語言方面更為精準和強大。因此,在更廣泛或復雜的任務上,選擇小模型還是大模型取決于特定應用的需求和限制。

        人工智能公司Cohere的非營利人工智能研究實驗室Cohere for AI的負責人Sara Hooker說道:

        “小模型在處理廣泛或罕見任務時的能力仍有限。”

        “還有很多未知的領域,我們如何確保從大模型中獲得的數據足夠多樣化,以覆蓋所有這些任務?”

        “蒸餾”技術在某種程度上是法律灰色地帶。比如通過蒸餾技術(一種將大型AI模型的知識轉移到更小模型的過程),小模型可能在功能上與大模型類似或者能夠執行相似的任務。然而,“競爭”的具體定義可能不夠明確,這導致了法律上的不確定性。

        (更多精彩科技資訊,點擊這里進入全天候站點)

        贊助本站

        人工智能實驗室
        AiLab云推薦
        展開

        熱門欄目HotCates

        Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港
        aiai视频,aiai永久网站在线观看,AiGAO视频资源在线
        <noscript id="jwsho"><legend id="jwsho"></legend></noscript>
        <ins id="jwsho"><video id="jwsho"><var id="jwsho"></var></video></ins><tr id="jwsho"></tr><output id="jwsho"></output>
      2. <menuitem id="jwsho"></menuitem>

          <menuitem id="jwsho"></menuitem>