在中美科技競(jìng)爭(zhēng)的大背景下，芯片一直是重中之重，說舉國之力也不為過，而以Deepseek為代表的中國公司在芯片被“卡脖子”的情況下，在算法上的突破也獲得了足夠多的關(guān)注，但在這場(chǎng)大模型的全球爭(zhēng)霸賽中，芯片（算力）和模型（算法）之外，還有一個(gè)至關(guān)重要甚至稱得上“卡脖子”的領(lǐng)域，卻被國人忽視，那就是AI存儲(chǔ)。

AI 存儲(chǔ)是AI產(chǎn)業(yè)的 “剛需”

公眾一般都知道AI算力靠GPU，GPU尤其是高端GPU是稀缺資源，實(shí)際上在AI計(jì)算時(shí)還有一個(gè)“效率中樞”，決定著GPU的運(yùn)行效率，這就是AI存儲(chǔ)。

大模型訓(xùn)練/推理不只是算力競(jìng)賽，也是“數(shù)據(jù)管道”競(jìng)賽：把成山的訓(xùn)練樣本、檢查點(diǎn)（checkpoint）、特征向量在微秒級(jí)送進(jìn)上萬張 GPU。如果存儲(chǔ)端跟不上節(jié)奏，昂貴的 GPU 就會(huì)閑著“等數(shù)據(jù)”，高額的算力投資被浪費(fèi)。

從Google、英偉達(dá)、Hugging Face等公司的論文中可以看出，GPU的利用率往往只有50%左右。昂貴的GPU算力在AI計(jì)算時(shí)大約有一半被浪費(fèi)，“是可忍孰不可忍”，于是AI產(chǎn)業(yè)界就削尖腦袋加以改進(jìn)。提高存儲(chǔ)性能，避免讀寫時(shí)卡頓就成為“剛需”。

AI存儲(chǔ)是創(chuàng)新技術(shù)的藍(lán)海

傳統(tǒng)的存儲(chǔ)技術(shù)并非為滿足當(dāng)今AI訓(xùn)練推理而設(shè)計(jì)，現(xiàn)有存儲(chǔ)技術(shù)在面對(duì)規(guī)模越來越大的AI訓(xùn)練推理集群時(shí)已經(jīng)越來越力不從心。

AI 訓(xùn)練需要處理海量數(shù)據(jù)，且數(shù)萬張GPU卡都要共享訓(xùn)練參數(shù)。要保證讀訓(xùn)練數(shù)據(jù)時(shí)數(shù)據(jù)流穩(wěn)定，哪怕只有1%的微小抖動(dòng)，都會(huì)導(dǎo)致高達(dá)數(shù)百GPU卡頓；AI訓(xùn)練還需要頻繁寫Check Point（相當(dāng)于訓(xùn)練參數(shù)存檔），寫Check Point時(shí)這么多GPU同時(shí)集中寫，這是傳統(tǒng)存儲(chǔ)系統(tǒng)不會(huì)經(jīng)常遇到的情況；在分配訓(xùn)練數(shù)據(jù)時(shí)，海量小文件的讀寫是傳統(tǒng)存儲(chǔ)一直未能解決的難題, 有時(shí)僅文件列表加載就需耗時(shí)數(shù)小時(shí)；在推理時(shí)，長(zhǎng)上下文又有新的存儲(chǔ)需求……華為 MLPerf 測(cè)試數(shù)據(jù)顯示，傳統(tǒng)存儲(chǔ)在AI訓(xùn)練場(chǎng)景中 GPU 利用率僅 30%。

因此迫切需要構(gòu)建為AI專門設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)架構(gòu)，能夠低成本高效率地處理數(shù)據(jù)，讓昂貴的算力不再被浪費(fèi)。

Shared-Everything架構(gòu)撐起300億美元巨頭

分布式存儲(chǔ)是很多臺(tái)服務(wù)器（稱為服務(wù)器集群）組成的存儲(chǔ)系統(tǒng)。傳統(tǒng)分布式存儲(chǔ)是Shared-Nothing架構(gòu)的，即數(shù)據(jù)盤屬于存儲(chǔ)服務(wù)器私有。這就像商品都?xì)w本地供銷社管理，每個(gè)人只能在本地供銷社買東西，要去買其它地方的商品就必須讓本地供銷社和對(duì)方供銷社協(xié)商，將對(duì)方貨物調(diào)過來才能買。這種供銷社之間的協(xié)商和調(diào)貨被稱為Cross Talk，是分布式存儲(chǔ)最大的性能瓶頸。

而Shared-Everything架構(gòu)則是數(shù)據(jù)盤在共享存儲(chǔ)池，任何服務(wù)器都可以不經(jīng)過其它服務(wù)器讀寫所有的盤。這就像電商，任何人不管在什么地點(diǎn)都可以直接下單購買，而無需供銷社之間協(xié)商調(diào)貨。Shared-Everything架構(gòu)下數(shù)據(jù)路徑更短，消除了Cross Talk這一性能瓶頸，性能有質(zhì)的飛躍。

美國創(chuàng)業(yè)公司VAST Data宣稱，Shared-Everything是分布式存儲(chǔ)20年來第一次架構(gòu)性創(chuàng)新，傳統(tǒng)Shared-Nothing架構(gòu)正在走向末路。我們可以理解為相當(dāng)于電商會(huì)取代供銷社。

VAST Data基于Shared-Everything架構(gòu)的AI存儲(chǔ)系統(tǒng)使得GPU利用率比傳統(tǒng)存儲(chǔ)技術(shù)提升 10–25 %，Checkpoint 時(shí)間從 10 分鐘級(jí)降到 1分鐘級(jí)。數(shù)據(jù)恢復(fù)速度提升 5–8倍，迅速成為了AI存儲(chǔ)市場(chǎng)的獨(dú)角獸。該公司2016年成立以來，獲得了包括英偉達(dá)在內(nèi)的多輪投資，客戶名單包括馬斯克旗下大模型創(chuàng)企x AI、皮克斯動(dòng)畫、zoom、谷歌，最新一輪估值更是高達(dá)驚人的300億美元。

300億美元估值意味著什么？要知道世界上最大的傳統(tǒng)存儲(chǔ)廠商EMC（也就是常說的“去IOE”中的“E”），2016年EMC被Dell時(shí)存儲(chǔ)業(yè)務(wù)價(jià)值也不過245億美元。這就像特斯拉的市值超越豐田、奔馳、寶馬等傳統(tǒng)汽車廠商一樣，代表新架構(gòu)對(duì)傳統(tǒng)架構(gòu)的超越。同時(shí)，這個(gè)數(shù)字甚至也超過了中國聯(lián)通的市值。

Shared-Everything是中國原創(chuàng)技術(shù)

雖然Shared-Everything技術(shù)在美國大放異彩，但事實(shí)上該技術(shù)卻是中國首創(chuàng)。多年前，中國的IT科學(xué)家王東臨和他領(lǐng)銜的書生公司技術(shù)團(tuán)隊(duì)就發(fā)明了Shared-Everything技術(shù)（當(dāng)時(shí)稱為分布式共享存儲(chǔ)技術(shù)），并研發(fā)了基于該技術(shù)的第一代SurFS分布式存儲(chǔ)系統(tǒng)，性能非常出色，在當(dāng)時(shí)世界上最快的分布式存儲(chǔ)系統(tǒng)性能在500微秒左右時(shí)，SurFS提高到了60微秒左右，充分展現(xiàn)了Shared-Everything技術(shù)的優(yōu)越性。

王東臨是得過多項(xiàng)國家級(jí)科技榮譽(yù)、在中國IT業(yè)歷史上留下多個(gè)足印的技術(shù)專家，陸續(xù)發(fā)明了多項(xiàng)國際領(lǐng)先的創(chuàng)新技術(shù)，有的（如電子印章技術(shù)）已經(jīng)得到廣泛應(yīng)用，有的（如果中國軟件業(yè)首個(gè)國際標(biāo)準(zhǔn)）樹立了中國IT業(yè)的里程碑，有的（如Shared-Everything架構(gòu)）仍然待字閨中。就在今年，他基于Shared-Everything架構(gòu)設(shè)計(jì)的量子模擬機(jī)集群也同樣打破了記錄，用兩顆普通CPU跑出了比英偉達(dá)8張GPU卡還高的性能；前不久，他還帶領(lǐng)南開大學(xué)人工智能團(tuán)隊(duì)和北京大學(xué)量子神經(jīng)網(wǎng)絡(luò)團(tuán)隊(duì)做出了全球首個(gè)基于量子算力實(shí)現(xiàn)智能對(duì)話的AI大模型成果，其預(yù)印版論文剛剛發(fā)表……

2016年2月，書生公司申請(qǐng)了一批Shared-Everything技術(shù)架構(gòu)的發(fā)明專利，并隨后對(duì)第一代SurFS進(jìn)行了開源，倪光南院士、時(shí)任工信部電子信息發(fā)展產(chǎn)業(yè)研究院院長(zhǎng)盧山等領(lǐng)導(dǎo)出席了SurFS開源儀式。

開源的意義在于讓公眾都能共享創(chuàng)新成果（尤其是架構(gòu)性的重大創(chuàng)新）,讓新技術(shù)能得到更廣泛的應(yīng)用。但開源也會(huì)被不勞而獲的同行竊取，經(jīng)常有人調(diào)侃說“美國一開源，中國就有了創(chuàng)新技術(shù)”。但這一次，在書生公司SurFS開源后不久，VAST Data公司成立了；在SurFS開源21個(gè)月后，VAST Data“發(fā)明了”Shared-Everything技術(shù)，并于2017年11月在美國申請(qǐng)了相關(guān)技術(shù)的專利。根據(jù)知識(shí)產(chǎn)權(quán)專業(yè)機(jī)構(gòu)的分析，雙方專利高度相似，技術(shù)方案完全覆蓋，屬同一個(gè)技術(shù)。

中國原創(chuàng)技術(shù)，會(huì)被美國用來收割中國嗎？

目前，書生公司已經(jīng)重啟了新一代SurFS技術(shù)的研發(fā)，宣稱新技術(shù)在核心技術(shù)指標(biāo)上將超越VAST Data。日前，書生公司還向?qū)＠痔峤涣诵鎂AST Data專利無效的申請(qǐng)。

AI競(jìng)賽的大幕已經(jīng)拉開，芯片、模型……刀光劍影，電力、基礎(chǔ)設(shè)施枕戈待旦，現(xiàn)在，存儲(chǔ)領(lǐng)域的漁陽鼙鼓聲響起。當(dāng)VAST Data身后集結(jié)了英偉達(dá)、迪士尼、谷歌、x AI、chatGPT、CoreWeave等一系列美國AI公司，其客戶名單中還包括NASA和美國能源部時(shí)，王東臨、書生公司和他的Shared-Everything專利背后，應(yīng)該有誰？VAST Data數(shù)月前剛在中國設(shè)立了總代理，將來會(huì)不會(huì)出現(xiàn)美國人用中國技術(shù)卡中國脖子的景象？