<noscript id="jwsho"><legend id="jwsho"></legend></noscript>
<ins id="jwsho"><video id="jwsho"><var id="jwsho"></var></video></ins><tr id="jwsho"></tr><output id="jwsho"></output>
  • <menuitem id="jwsho"></menuitem>

      <menuitem id="jwsho"></menuitem>

      1. 展會信息港展會大全

        李開復:正開發一種新的專有模型,手頭芯片庫存充足至少維持18個月
        來源:互聯網   發布日期:2023-12-28 19:11:21   瀏覽:6341次  

        導讀:劃重點 1 李開復最近接受采訪時預測,中國生成式AI行業正在經歷一場預選賽,最終可能只會剩下幾個大贏家。 2 中國的科技巨頭和眾多初創公司正處于大模型開發的技術驗證階段,需要證明自己有能力構建高質量模型。 3 通過技術驗證的公司將進入下個階段,開始考...

        劃重點

        1

        李開復最近接受采訪時預測,中國生成式AI行業正在經歷一場“預選賽”,最終可能只會剩下幾個大贏家。

        2

        中國的科技巨頭和眾多初創公司正處于大模型開發的技術驗證階段,需要證明自己有能力構建高質量模型。

        3

        通過技術驗證的公司將進入下個階段,開始考慮如何實現商業化,增加收入和創造利潤。

        4

        李開復透露,零一萬物公司目前正在開發一種新的專有模型,參數超過1000億。

        科技新聞訊 12月28日消息,據外媒報道,風險投資家、谷歌中國前總裁李開復在接受采訪時預測,中國生成式人工智能初創行業正在經歷一場“預選賽”,在經歷了行業大洗牌后,最終可能只會剩下幾個大贏家。

        李開復:正開發一種新的專有模型,手頭芯片庫存充足至少維持18個月

        今年早些時候,李開復創立了零一萬物(01.AI),這是一家總部位于北京,致力于開發大語言模型(LLM)的初創公司。上個月,該公司完成了最新一輪融資,估值高達10億美元。

        目前,中國的科技巨頭如阿里巴巴、騰訊、百度和字節跳動,以及眾多初創公司,都在開發自己的大語言模型。這場科技競賽被媒體稱為“百模大戰”,各大公司都在爭奪人工智能領域的領先地位。

        在最近的一次采訪中,李開復表示,這些公司正處于技術驗證階段,他們需要證明自己有能力構建高質量的模型。經過技術驗證的公司將進入下一階段,即如何實現商業化、增加收入和創造利潤。

        李開復預測:“在中國,我們最終會有幾個大贏家,還有少數公司可以體面地退出,但大多數公司最終要么半途放棄,要么會轉向更具體、更實際的目標,比如為特定行業開發應用程序和解決方案。”

        零一萬物成立于今年3月份,目前擁有100多名員工,大部分人在北京工作。上個月,該公司推出了第一個開源大模型YI-34B,但其未來的收入將不會依賴于此模型。相反,零一萬物的商業計劃是銷售專有的大語言模型,主要面向中國市常據李開復透露,該公司目前正在開發一種新的專有模型,參數規模超過1000億。

        然而,在YI-34B迅速攀升到Hugging Face的開源大語言模型排行榜首位之后,這家初創公司遭遇了一些爭議。有開發者調查發現,YI-34B使用了Meta的開源人工智能模型Llama,但并未在相關文檔中提及此事。為此,零一萬物最終對部分內容進行了重新命名,并感謝了Llama的貢獻。李開復也對之前的疏忽表示了歉意。

        最近,李開復在北京辦公室接受了科技媒體The Information的視頻專訪,聊到了零一萬物的未來、如何應對美國的芯片出口限制、中國人工智能產業的未來發展趨勢以及中國人工智能公司如何在全球尋找機遇等話題。

        以下為專訪全文:

        問:中國目前有數十家公司都在開發大語言模型,接下來會發生什么?

        李開復:我想中國以前也曾出現過很多類似現象,比如團購及其模仿者、自行車租賃應用的興起,以及計算機視覺和語音識別在深度科技領域的突破。當計算機視覺證明取得了突破性進展時,無數企業如雨后春筍般涌現,渴望在這個行業中分一杯羹。但現實是殘酷的,大部分公司并沒有堅持下來。中國市場的競爭尤為激烈,甚至比美國市場還要激烈。

        當前,中國人工智能領域的競爭仍然處在預選賽階段。首先面臨的考驗是:哪家公司能夠率先構建出真正有價值的高質量模型?只有當模型表現卓越,才有可能在實際應用中嶄露頭角。否則,它只能被視為一個玩具,而不能真正解決實際問題。

        那些通過預選賽的公司將進入下一階段,這一階段關乎如何增加商業價值。你們有明確的商業模式嗎?你們是如何盈利的?很快,投資者將根據這些公司的損益表來評估其價值,提出的問題將與他們對云服務提供商、企業軟件公司和消費者應用程序的關注點類似。如果企業無法回答這些問題,它們的增長將會受到限制。

        在美國,OpenAI已經證明了其技術的領先地位,并且能夠創造收入。由于它創造了足夠的價值,人們愿意在其上構建應用程序并為之付費。

        而在中國,我們最終會有幾個大贏家,還有少數公司可以體面地退出,但大多數公司最終要么半途放棄,要么會轉向更具體、更實際的目標,比如為特定行業開發應用程序和解決方案,而不是試圖開發預訓練大模型。隨著時間的推移,開發這些模型的成本將不斷攀升。

        問:中國人工智能初創企業及其投資者表示,中國將為生成式人工智能模型和應用開發自己的生態系統。你對此如何看?

        李開復:我們都不希望出現一個平行的宇宙。我們都更傾向于在全球范圍內展開競爭,讓真正出色的公司脫穎而出,這樣效率才更高。然而,我們無法完全掌控自己的命運。

        地緣政治問題尤其突出。如果我們想進入美國市場,雖然法規并未禁止我們進入,但由于目前美國市場對中國軟件存在不公平的偏見,我認為我們很難獲得大量的業務。這是我們不得不面對的現實。

        我們對中國以外的商機持開放態度,但我們完全理解有些事情是不可能的。將我們的專有模型賣給美國的公司是不可能的,他們不會購買,我們也不會做無用功。

        中國顯然蘊藏著巨大的機會,但我不會將世界其他地區排除在中國公司可能進入的地區之外?偟膩碚f,硅谷的做法是一刀切的。這或多或少地對Facebook和谷歌等公司的崛起起到了關鍵作用,并幫助美國獲得了主導地位。但這一次不同,因為大語言模型是在數據方面進行培訓的,而數據涉及到偏見、意識形態和價值觀等問題。美國的價值觀在某些國家并不受歡迎,甚至不被接受。中國不會是唯一這樣做的國家。我認為,中東是另一個可能想要以不同方式思考問題的地區。這將促使各國希望更多地控制自己的模型。

        我確實認為,為不同的國家構建不同的特殊模型是有可能的。但這是硅谷公司不愿意去做的事情,因為他們覺得自己的價值觀就是正確的,他們希望更多的人能夠接受并融入其中。而且,要為不同的市場制造不同的模型,需要大量的工程工作。因此,硅谷公司不愿意開發這類模型。而來自世界其他地區的公司,包括中國的公司,可能有機會研究這種模型。但顯然,他們必須贏得用戶和各國政府的信任。

        問:有媒體報道,零一萬物公司成功降低了YI-34B的人工智能培訓成本。你們是怎么做到的?

        李開復:我們擁有一支非常強大的基礎設施團隊,這也是我們公司規模最大的團隊。我很早就告訴過員工,每增加一個建模人員,圖形處理單元的負擔就會加重一分。而每增加一名基礎設施人員,圖形處理單元的效率就會提升一分。當然,我們也需要強大的建模團隊,但從一開始,我們的主要優先事項就是構建一個強大的基礎設施團隊。

        基礎設施團隊的成員們就像無名英雄一樣,默默地承擔著處理硬件、軟件和海量數據的重任。他們還需要處理圖形處理單元、內存和網絡,這三者中的任何一個都可能成為瓶頸。要知道,圖形處理單元很難擴展到幾千個以上。當你從2000個增加到8000個時,你不可能簡單地通過軟件搞定,因為隨著你轉向更大的模型和更大的數據集,網絡需求也會發生巨大變化。

        我們的基礎設施團隊里有數十名工程師,該團隊也是目前零一萬物最大的團隊。他們的工作包括研究如何使用FP8(英偉達H100芯片的數據格式)來大幅減少計算量,還要弄清楚在哪里使用FP8,在哪里使用其他數據格式,以及如何無縫地轉換它們。除了這些,他們還得處理一系列令人頭疼的問題,比如我們應該使用什么網絡協議、如何優化編譯器以及如何處理出現故障的圖形處理單元。實際上,圖形處理單元出現故障的頻率相當高。當一個圖形處理單元出現故障時,可以熱插拔嗎?我們仍在努力解決這個問題。我們可以假設下:如果你擁有一個由上千個圖形處理單元組成的計算集群,卻因為一個圖形處理單元出現故障而停止一小時的訓練,那么能夠進行熱插拔將為你每天節省一個小時。這些時間會積少成多。

        另一件相關的事情是彈性培訓。這意味著,如果你有一個由2000個H100芯片組成的集群,并且你只需要其中500個來執行單獨的任務,那么你可以在檢查點(Checkpoints,大模型訓練過程中保存模型參數的機制)之間移除它們,然后再添加回來嗎?這些任務并不是人工智能研究人員該干的,而是屬于網絡工程師的職責。

        如果把大語言模型的開發比作火箭科學,那么就像是沒有工程師,火箭永遠飛不起來一樣。SpaceX的成功并不僅僅是因為其擁有大量研究人員,還因為它做了大量非常復雜的工程工作。

        問:美國限制向中國出口先進的半導體技術,包括英偉達的關鍵芯片。零一萬物是如何應對的?

        李開復:我曾經公開說過,我們手頭有足夠的芯片庫存,至少能夠維持18個月。這些芯片基本上都是在美國出臺限制措施之前購買的。我們當然正在努力研究如何使用中國的芯片。這不是件容易的事情。給它們編程并不是我們所熟悉的領域。但如果這是我們必須做的,那我們也會勇敢地迎接挑戰。

        英偉達的芯片非常出色,但有些人可能會認為,更簡單的芯片可以用低得多的成本完成這項工作。然而,英偉達之所以如此強大,背后的一個主要因素是圍繞其CUDA軟件庫打造了一個完整的生態系統,這使得編程變得相對容易。如果我們強迫工程師使用非英偉達的芯片,他們可能會強烈反對,因為他們的效率會大大降低。我們面臨的困境要在18個月后才會顯現,但我們必須更早開始行動。如果我們無法獲得英偉達的芯片,我們將尋找更簡單的芯片,更專注于轉換器。然而,這將是一個痛苦的編程過程。但是,如果我們別無選擇,那我們就只能這么做。

        大家都知道,中國工程師有才華、有決心,他們可以出色地應對這種被認為艱巨的工程挑戰。這與我之前所說的我們基礎設施團隊的工作有些相似。學習如何使用非常有限的庫來編寫新的、非標準的圖形處理單元,也是一項繁瑣的任務。

        中國企業家是堅韌不拔的。中國的工程師都非常勤奮。他們不怕繁重的工作。我們確實面臨著許多困難的挑戰,甚至可以說它們是在浪費時間和精力。但這就是我們手中的牌,所以我們會盡最大努力打好這些牌。(編譯/金鹿)

        贊助本站

        人工智能實驗室
        AiLab云推薦
        展開

        熱門欄目HotCates

        Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港
        aiai视频,aiai永久网站在线观看,AiGAO视频资源在线
        <noscript id="jwsho"><legend id="jwsho"></legend></noscript>
        <ins id="jwsho"><video id="jwsho"><var id="jwsho"></var></video></ins><tr id="jwsho"></tr><output id="jwsho"></output>
      2. <menuitem id="jwsho"></menuitem>

          <menuitem id="jwsho"></menuitem>