所有語言
分享
文章來源:鈦媒體AGI
隨着產能增加,供需轉向平衡,受生成式 AI 算力需求暴漲引發的英偉達GPU(圖形處理器)“短缺”情況正逐步緩解。
據The Information 2月23日報道,有超過六家使用 AI 芯片的公司表示,如今多個客戶正在減少採購英偉達 AI 芯片訂單,同時從雲服務廠商租用英偉達 H100 AI 芯片變得相對容易。
另外,報道還稱,一些在早期瘋狂搶購GPU的買家,現在正尋求出售部分芯片存貨,從而降低 AI 算力成本。
2月21日財報電話會議上,英偉達CEO黃仁勛表示,最近幾個季度面臨供應限制的問題正在“改善”。但他也提到,2024年甚至到2025年,GPU依然會“供不應求”。
而英偉達競爭對手、英特爾CEO基辛格(Pat Gelsinger)也預計,今年多個公司對在 AI 芯片上的資金投入會更加謹慎。
估值 430 億美元的美國 AI 軟件公司Databricks 聯合創始人兼CEO阿里·戈德西 (Ali Ghodsi) 甚至直言,隨着明年供需再平衡,英偉達 GPU芯片價格將會大幅下降(暴跌),從而給眾多 AI 科技巨頭和初創公司的商業模式帶來影響。
Databricks 首席執行官 Ali Ghodsi
“如此瘋狂的稀缺現象在2000年代也發生過。但正如互聯網(帶寬)限制在 2000 年代基本消失一樣,GPU 也會發生同樣的情況,”Ali Ghodsi日前在The information線上會議中表示。
據悉,Databricks是一家全球領先的“數據+AI”公司,於2013年在舊金山成立,該公司由Apache Spark(一個開源集群運算框架,由加州大學伯克利分校AMPLab所開發)初始成員創立,阿里·戈德西是Databricks聯合創始人兼CEO。
除了在Databricks工作之外,Ali Ghodsi還是加州大學伯克利分校的兼職教授,以及加州大學伯克利分校RiseLab的董事會成員。
截至目前,Databricks已獲得超過36億美元的融資,投資方包括微軟、亞馬遜、a16z、CapitalG、卡塔爾投資局、Sanabil Investments、老虎基金、BlackRock(貝萊德)等37家機構,公司最新估值達到430億美元——CB Insights獨角獸排名中位列第五位,僅次於字節跳動、SpaceX、SHEIN、Stripe。
Ali Ghodsi坦言,AI 大模型的核心不僅僅是算力,數據也是十分重要的。當資本主義、供給和需求解決了GPU短缺問題,其價格會暴跌,這對於任何過度投入GPU算力支出的人來說,都是一個巨大的挑戰。
“人們想要在模型上投入越來越多的 GPU,對吧?你知道,花十億美元、一萬億美元買一個更大、更大的模型。但您構建的模型越大,為其提供服務的成本就越高,它距離 AI 隨時隨地可用的情況就越來越遠。所以我認為,整個領域都走錯了方向,構建更小的模型以及如何智能地製造小模型才是根本。”Ali Ghodsi稱,合成數據、模型質量、AI 系統都是大模型發展的關鍵因素。
Ali Ghodsi表示,如果 OpenAI 停止共享知識產權(IP),微軟可能會面臨威脅。而他非常看好 AI 開源模型的未來發展,稱其接近最先進的性能。
Ali Ghodsi強調,大型語言模型(LLM)就是一場基於用戶體驗的革命性技術。
(本文首發鈦媒體App,作者|林志佳)
以下是Ali Ghodsi此次公開會議中進行的對話全文,基於Kimi智能助手進行 AI 中英文翻譯,鈦媒體App進行部分人工修正:
問:生成式 AI 初創公司的機會在哪裡?哪些方面做得好,哪些方面做得不好?
Ali Ghodsi:我喜歡用的比喻是,當互聯網出現時……人們意識到它將擁有的巨大潛力,對各種初創公司投入了大量資金。然後泡沫破裂了。1999年,人們對路由器和網絡感到興奮,但後來發現這些對互聯網來說並不那麼有趣,它們變成了一種商品。我認為在基礎模型(如OpenAI的GPT-4)這裏也會發生同樣的事情。隨着時間的推移,這些模型的價值將下降到幾乎以成本價出售。
基礎設施層面非常有趣,那裡將有大量的錢可以賺。你可以將其視為人工智能的亞馬遜網絡服務(AWS),是所有 AI 模型公司的基礎設施提供者。這是我們的主要賭注。應用(針對消費者和企業)將具有很大的價值,但我們現在還不清楚具體是什麼。
我們在2000年甚至無法預測,Twitter、Facebook、Airbnb或Uber對於我們生活的重要變革。即使互聯網爆發已顯而易見,但很難預測,如今,它們實際上已成為全球非常有價值的大科技公司。所以問題是,這次會出現哪些公司?
問:人工智能初創公司面臨的最大挑戰是什麼?
Ali Ghodsi:一些公司在這場瘋狂的人工智能浪潮之前的兩、三年就獲得了資金。對於那些公司來說,最大的挑戰是收入模式——你賺錢了嗎?一些公司現在可以產生大量的使用量和用戶,但他們能否將這些變現?
挑戰之二是,你如何讓這些東西真正有用?演示可能是人類有史以來最好的演示,但你如何確保它足夠可靠,讓人們每天都可以使用,而且不會出錯?你如何確保大模型擁有最新的信息?
第三個挑戰是隱私、安全和監管。那裡有很多不確定性,而當互聯網創建時並沒有這些問題。人們對這些事情的關注度不如現在。
問:你認為有哪些 AI 公司最後能成為贏家?
Ali Ghodsi:顯然,贏家是微軟。但他們的模型來自OpenAI,所以並不是他們自己的模型。OpenAI會繼續生產最先進的模型嗎?他們也會向微軟提供模型權重嗎?或決定模型如何響應的設置?整個事情取決於此。
如果你把你的[知識產權]交給了全球最大的企業銷售團隊……這是一個有趣的關係。我是Perplexity的忠實粉絲,我認為他們真的掌握了用戶體驗。它很快,很敏捷,我每天都使用它。但這些東西還沒有像我們六個月或一年前預期的那樣改變我們的生活。
挑戰性的問題是,很多初創公司是基於一種奇怪的(囤積)資金或GPU承諾(購買而構建)模型開始的,我認為這將為他們未來帶來額外的挑戰。由於這個原因,我們將在未來12個月看到很多“動蕩”。
問:你能深入談談嗎,Ali Ghodsi?
Ali Ghodsi:從過去來看,人們在購買這些GPU並用它們進行比特幣挖礦。然後以太坊決定改變模型,不再需要GPU。但後來發現,OpenAI正在訓練巨大的模型,我們確實需要GPU。然後有一個供應商——英偉達……每個人都急於獲取這些GPU。出現了如此瘋狂的稀缺性——而在2000年代,帶寬周圍也有類似的事情。結果證明,資本主義,供求關係解決了問題,帶寬的價格大幅下降,帶寬無處不在。同樣的事情也會發生在GPU上。
那麼,對於那些做“GPU洗錢”的初創公司會發生什麼,即他們從大的戰略投資者那裡獲得巨額資金,然後從這些提供商那裡租用雲服務器,這些公司的估值很高,因為他們必須籌集數億美元只是為了GPU。
那麼,當這些GPU價格下降,而有人對這些GPU有三年的承諾時,會發生什麼?這將對任何在GPU支出方面過度承諾的人構成巨大挑戰。
問:在這一點上似乎存在一些分歧,否則我們不會看到Sam Altman說他需要7萬億美元來解決GPU需求瓶頸,那麼你反駁的觀點是什麼?
Ali Ghodsi:有一些公司——我認為OpenAI和Anthropic——真的相信……精確預測你的大模型性能的……規模定律,你投入的GPU和美元越多,它就越好。
但問題一,當你在X軸向右移動時,你需要在硬件上花費指數級更多的錢,所以数字很快就會上升。即使這是正確的方法,並且沒有遇到任何障礙,有多少公司需要這樣做?也許只有三四個,對吧?如果隨着模型變得開源,一個這樣的開源模型,意味着沒有人需要在這些GPU上投入預訓練費用。
第二個問題是,你的LLM變得更聰明並不重要。你希望它對企業和用戶想要的任務真正有用。所以很多事情都會很重要——比如,合成數據(為訓練新 AI 模型而生成的數據)、數據質量、整個系統等。
如果你在做自動駕駛汽車,你不會只訓練最大的LLM。我認為有很多因素在裏面,不僅僅是“投入更多的GPU”。
問:今天如果沒有微軟、谷歌、Salesforce或其中一家科技巨頭的支持,生成式 AI 初創公司很難生存。但你提到Databricks與微軟也有密切的關係。你如何看待初創公司與大公司之間的合作並競爭性“平衡”?初創公司應如何處理這些關係?
Ali Ghodsi:現在,三大雲服務提供商——谷歌、AWS、微軟公司都是Databricks的投資者。在CEO層面,我們與三者的關係都非常好。然後你下到某些產品團隊,可能會有重疊、有合作競爭。
我認為這將是常態。我覺得這個領域的任何初創公司都應該對此感到舒適(心態平和)。
我交談過的大多數創始人,他們都有這種夢想,“我可以創建下一個谷歌”。在這種情況下,我只想說,不要太接近大公司,如果你變得過於親近和依賴……你放棄了很多優勢。所以特別是保護你的知識產權。
所以這是長期與短期的權衡。如果你想要長期的東西、保持更獨立。如果你想要短期收入,這很好,很多人現在都想要,這是獲得更多風險資本的首要瓶頸。
而從大型雲服務(它們轉售來自不同提供商如OpenAI、Anthropic和Cohere的AI模型)獲得收入是有幫助的。
但如果你想建立一個可持續的公司,你需要有很多客戶,而非大公司的“依賴”。
問:鑒於Apache Spark和你構建的一切,以及你為企業所做的一切,你認為,Databricks的開源大模型能否接近現有的前沿模型性能和體驗,這種滯後會持續多久?
Ali Ghodsi:我們做了很多研究。我們自己的模型,內部模型,做得非常好。每當我們在企業的具體用例上進行微調時,它們都能擊敗市場上的所有模型。
當然,我們是在“作弊”。我們使用企業提供的特定任務數據,為該任務調整或構建一個模型,然後我們一次又一次地擊敗了市場上的所有模型。這是你可以提出的一個論點。但我認為直接回答你的問題,如果你繪製模型在基準測試上的性能,這是我們今天不幸擁有的最好的東西,你看看開源,你看看曲線,它們正在向GPT-4的前沿“收斂”。
為什麼是這樣?因為你正在使用整個網絡和你擁有的所有數據集。但每個人都在做這個。也許如果你有其他人沒有的數據集,那將是獲得優勢的一種方式。
實際上,這就是我們所做的。所以我們做的是,我們收購一家Mosaic公司,他們有非常專業的數據集,我們會在那個數據集上從頭開始為他們構建一個模型,然後給他們權重和模型,他們可以保留它。但如果你沒有特殊的數據集,你只是在網絡規模上進行訓練,那麼,這是一個“巨大的工程壯舉”。
這使得大模型有點“商品化”了。
想象一下,如果企業客戶想要擁有自己的 AI 醫療垂直模型,需要擁有專註於數據集或微調等技術的專業公司,不太可能去用 OpenAI 這類基礎模型提供商。
問:我們已經看到一些地方的銷售 AI 模型自動化產品,比如谷歌。而隨着生成性 AI 快速應用,五年後你還會有和今天一樣多的軟件工程師、銷售員嗎?AI 是否取代了這些職位?
Ali Ghodsi:我認為在過去一兩年裡,人們對 AI 將基本上取代所有軟件工程師、律師、市場營銷人員、記者、醫生、教育工作者的想法有點極端。因為我們總是需要人類參与其中,而 AI 技術實際上是在增強人類。
如果你能更容易、更便宜地編寫軟件,那麼更多的人更適合編寫軟件,這是一個基本的供求論點——結果就是會有更多的軟件工程師,而非 AI。
但我認為,未來市場會有變化……當你看具體的細節,比如誰在做工作的哪一部分,它會發生變化。
現在回答你的特定問題。我沒有盡可能地推動我的軟件工程師,對吧?我有大約2000名員工,我正在盡可能地推動他們使用更多的 AI 編碼助手,其中大約70%的人使用它,而剩下的30%拒絕使用它。因為30%中的一些人的編寫代碼效果是最好的。
我們並沒有因為使用 AI 而減少軟件工程師的招聘。我們的需求仍然比以前多。在銷售方面,也是一樣。我認為,可能很快就會發生用 AI 自動化替代銷售開發、客服、發郵件等領域員工的事件。所以看看,我們的收件箱會發生什麼會很有趣,未來誰會閱讀這些收件箱。是人類還是其他人?
但在企業銷售方面,我認為不會有大的變化。為什麼?因為最終,你如何讓大銀行從你那裡購買2000萬、3000萬美元的軟件,這是關於人際關係的事情——你必須去見CEO,必須說服 CIO 這是好的技術,必須說服開發團隊它是安全的。這在很大程度上是關於人際關係。所以,這些工作實際上並沒有改變。
如果有什麼變化,那麼它會變得更加有價值。
問:AI 推理能夠在筆記本電腦等邊緣設備上完美運行,因此這引發了OpenAI的一些人所倡導的LLM作為下一個操作系統的想法,它將為許多 AI 設備提供動力。這也許是為什麼Sam Altman在和Jony Ive談論 AI 設備的原因。你怎麼看?
Ali Ghodsi:人們想要投入更多的GPU,對吧?你知道,投入十億美元,投入數萬億美元,購買更大的模型。但你所構建的模型越大,服務它就越昂貴。而且它離邊緣越遠,比如你的可穿戴設備等。所以我認為遊戲的真正關鍵在於更小的模型,以及你能讓這些小模型變得多麼智能。
我認為整個領域因為谷歌的一篇論文(DeepMind的“chinchilla paper”)走錯了方向,它基本上說這就是你需要投入的最佳金額來獲得一個模型。所以這意味着……我們已經投入了小模型的最佳金額,它並不那麼智能,所以它是一個相當愚蠢的模型,所以我們得轉向更大的模型。
現在很清楚……你可以讓小模型變得越來越智能。所以我認為,我們將看到令人驚嘆的小模型,它們完全可以在邊緣設備上運行,你甚至不需要專門的硬件來服務它,你不需要GPU。因為大型語言模型是一場用戶界面革命。我們今天做的所有事情,我有手機,我在手機上打字,我點擊菜單……未來將消失。我們將開始通過說話與很多東西互動,就像我們現在這樣。