來(lái)源:南方能源觀察 時(shí)間:2025-02-06 11:46
農(nóng)歷新年期間,筆者問(wèn)了深度求索(DeepSeek)一個(gè)問(wèn)題:相比GPT-4,你能節(jié)省多少算力?以下節(jié)選了部分DeepSeek的回答:
目前沒(méi)有官方公開(kāi)的詳細(xì)數(shù)據(jù),但可以通過(guò)模型架構(gòu)和已知信息進(jìn)行合理推測(cè):
模型規(guī)模優(yōu)化:GPT-4的參數(shù)量約為1.8萬(wàn)億(推測(cè)),采用混合專(zhuān)家(MoE)架構(gòu),訓(xùn)練消耗約2.15e25 FLOPs。DeepSeek公開(kāi)的模型(如DeepSeek-R1)參數(shù)量顯著更小(約百億級(jí)),通過(guò)稀疏激活和架構(gòu)優(yōu)化實(shí)現(xiàn)高效計(jì)算,理論上訓(xùn)練算力需求可能降低1-2個(gè)數(shù)量級(jí)。
實(shí)際場(chǎng)景差異:在同等任務(wù)下,DeepSeek的推理速度可達(dá)GPT-4的3-5倍(部分公開(kāi)測(cè)試數(shù)據(jù)),顯存占用降低約60%。
根據(jù)Visual Capitalist網(wǎng)站數(shù)據(jù),截至2024年3月,美國(guó)擁有全世界最多的數(shù)據(jù)中心,達(dá)5381個(gè),德國(guó)、英國(guó)、中國(guó)均擁有500個(gè)左右,分別為521個(gè)、514個(gè)和449個(gè)。2024年,美國(guó)科技公司仍在四處“求電”。
隨著生成式AI技術(shù)研發(fā)進(jìn)入爆發(fā)期,其激增的能源電力需求給美國(guó)電網(wǎng)帶來(lái)巨大壓力,eo此前轉(zhuǎn)引彭博社的一份報(bào)告顯示,美國(guó)超過(guò)3/4的高度失真功率讀數(shù)位于大型數(shù)據(jù)中心50英里范圍之內(nèi),表明數(shù)據(jù)中心可能引發(fā)諧波問(wèn)題,進(jìn)而影響電力系統(tǒng)平穩(wěn)運(yùn)行。
2024年9月,英偉達(dá)和谷歌等多家科技公司負(fù)責(zé)人拜訪美國(guó)白宮,提出請(qǐng)政府資助建設(shè)強(qiáng)大能源設(shè)施來(lái)支持頂級(jí)AI模型訓(xùn)練的設(shè)想,建議建造多個(gè)巨型數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心的電力需求堪比整個(gè)紐約市的用電量。
除了希望政府支持發(fā)展數(shù)據(jù)中心,為生成式AI大模型發(fā)展蓄力外,它們還看中了核電這種性能與數(shù)據(jù)中心需求相對(duì)匹配的電源品種,并嘗試投資新的核能利用技術(shù),核電巨頭Constellation Energy以及部分初創(chuàng)公司如Oklo也因此成為炙手可熱的合作對(duì)象。
這種新的巨大用能需求曾一度讓部分電力從業(yè)者認(rèn)為,變革者來(lái)了。但DeepSeek的出現(xiàn),可能改變剛剛出現(xiàn)的變化。通過(guò)更高效的計(jì)算,DeepSeek的算力需求相比OpenAI銳減,“分布式“部署算力,即人手一套DeepSeek也成為選項(xiàng)之一,AI可能不再是電力“巨獸”。
不過(guò),美國(guó)麻省理工學(xué)院技術(shù)評(píng)論(MIT Technology Review)網(wǎng)站發(fā)表的一篇文章提到,在40個(gè)提示的測(cè)試中,DeepSeek被發(fā)現(xiàn)與Meta模型具有類(lèi)似的能源效率,但DeepSeek傾向于生成更長(zhǎng)的回答,因此被發(fā)現(xiàn)多使用了87%的能源。
只是不同模型具有不同的用途,尚未進(jìn)行科學(xué)合理的研究來(lái)比較DeepSeek相對(duì)于其競(jìng)爭(zhēng)對(duì)手的能源使用情況。
由AI技術(shù)不斷演進(jìn)帶來(lái)的還有具身智能制造業(yè)的發(fā)展,其可能是未來(lái)用電量的重要增長(zhǎng)點(diǎn)之一。在筆者看來(lái),由于散熱往往消耗較多電量,數(shù)據(jù)中心未來(lái)更傾向于部署在相對(duì)涼快的地方,以減少空調(diào)負(fù)荷消耗,而隨著國(guó)內(nèi)對(duì)綠電消費(fèi)的要求逐步提高,水(儲(chǔ))、風(fēng)、光一體化或核電將成為其優(yōu)選。在DeepSeek看來(lái),AI驅(qū)動(dòng)的協(xié)同優(yōu)化,將是電算協(xié)同的技術(shù)支撐和創(chuàng)新方向之一,即通過(guò)AI模型同時(shí)優(yōu)化算力分配任務(wù)和電力調(diào)度,例如任務(wù)遷移,將高耗能計(jì)算任務(wù)遷移至綠電充足時(shí)段;動(dòng)態(tài)降頻,在電力緊張時(shí)降低服務(wù)器頻率以減少能耗等。
DeepSeek總結(jié):
電力與算力的協(xié)同不僅是技術(shù)問(wèn)題,更是涉及經(jīng)濟(jì)、政策、生態(tài)的系統(tǒng)工程,將成為全球碳中和與數(shù)字化轉(zhuǎn)型的核心交匯點(diǎn)。(姜黎)
責(zé)任編輯:王萍