【新智元導(dǎo)讀】還記得幾個(gè)月前問(wèn)世的世界最大的AI芯片嗎？IEEE Spectrum團(tuán)隊(duì)最近訪問(wèn)了其制造商Cerebras的工廠，并對(duì)CEO和技術(shù)團(tuán)隊(duì)進(jìn)行了訪談，CerebrasCEO表示，這款劃時(shí)代的芯片有望突破AI的計(jì)算瓶頸，將訓(xùn)練時(shí)間由幾周縮短到幾小時(shí)。戳右邊鏈接上新智元小程序了解更多！

人工智能計(jì)算機(jī)初創(chuàng)公司Cerebras Systems CEO兼聯(lián)合創(chuàng)始人Andrew Feldman表示，如今的人工智能僅僅只是開(kāi)始。

正如他及其同僚所言，問(wèn)題在于當(dāng)今的深度神經(jīng)網(wǎng)絡(luò)十分耗時(shí)且計(jì)算密集，訓(xùn)練非常困難。比如，自動(dòng)駕駛汽車要識(shí)別道路上遇到的所有重要物體，神經(jīng)網(wǎng)絡(luò)需要向其顯示所有物體的很多、很多相關(guān)圖像。這一過(guò)程在數(shù)據(jù)中心進(jìn)行，由耗電數(shù)十有時(shí)甚至數(shù)百千瓦的計(jì)算機(jī)完成，任務(wù)時(shí)間經(jīng)常長(zhǎng)達(dá)數(shù)周。

Cerebras的客戶抱怨說(shuō)，使用當(dāng)下的計(jì)算機(jī)訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的時(shí)間可能長(zhǎng)達(dá)6周。照這樣，一年只能訓(xùn)練6個(gè)神經(jīng)網(wǎng)絡(luò)。“只有驗(yàn)證更多想法才會(huì)產(chǎn)生新想法，” Feldman說(shuō)。“如果能在2或3個(gè)小時(shí)內(nèi)完成[網(wǎng)絡(luò)訓(xùn)練]，就可以嘗試數(shù)千個(gè)想法。”

當(dāng)IEEE Spectrum訪問(wèn)位于美國(guó)加州Los Altos的Cerebras總部時(shí)，這些客戶及一些潛在客戶已經(jīng)通過(guò)橙色光纜把他們的訓(xùn)練數(shù)據(jù)輸入4臺(tái)CS-1計(jì)算機(jī)。這些64厘米高的機(jī)器運(yùn)轉(zhuǎn)起來(lái)，每臺(tái)消耗20千瓦，散發(fā)的熱量通過(guò)墻上的一個(gè)洞流到硅谷的大街上。

從外面看，CS-1機(jī)身并不大，每個(gè)機(jī)箱大約3/4是冷卻系統(tǒng)，余下的1/4則是真正的革命：一臺(tái)性能強(qiáng)悍的計(jì)算機(jī)，幾乎完全由一整塊芯片組成。這塊芯片的面積高達(dá)46,255平方毫米，是任何一塊可以買到的處理器芯片的50+倍。這就是由Cerebras生產(chǎn)的世界最大芯片Wafer Scale Engine (WSE)，它有12,000億個(gè)晶體管，400,000個(gè)AI可編程內(nèi)核，18 GB超快速片上存儲(chǔ)器（SRAM）和100Petabits /s的結(jié)構(gòu)帶寬。

Cerebras的統(tǒng)計(jì)數(shù)據(jù)令人震驚。據(jù)稱，一個(gè)10機(jī)架TPU二代集群（現(xiàn)在已更新為Google AI計(jì)算機(jī)的第三代集群）所耗電量是其5倍，占用空間是其30倍，而性能僅有搭載WSE芯片的計(jì)算機(jī)的1/3。單塊巨型芯片是否真正是AI社區(qū)所需，相信這個(gè)答案從今年開(kāi)始就會(huì)清晰起來(lái)。美國(guó)加州山景城公司LinleyGroup的高級(jí)分析師Mike Demler說(shuō)：“ [神經(jīng)網(wǎng)絡(luò)]模型日益復(fù)雜，能夠快速訓(xùn)練或再訓(xùn)練確實(shí)很重要。”

Feldman說(shuō)，2015年當(dāng)Cerebras的創(chuàng)始人們開(kāi)會(huì)時(shí)，他們想要打造完全適配當(dāng)下AI工作場(chǎng)景的計(jì)算機(jī)，這些工作場(chǎng)景有若干項(xiàng)定義：它們需要快速移動(dòng)大量數(shù)據(jù)，它們需要內(nèi)存接近于處理器內(nèi)核，并且這些內(nèi)核不需要處理其他內(nèi)核正在處理的數(shù)據(jù)。

這立即給了公司資深的計(jì)算機(jī)架構(gòu)師一些啟發(fā)。首先，他們可以使用成千上萬(wàn)個(gè)專門用于神經(jīng)網(wǎng)絡(luò)相關(guān)計(jì)算的小型內(nèi)核，而不是更少、更通用的內(nèi)核；其次，這些內(nèi)核應(yīng)該互連在一起，可以快速而低耗的移動(dòng)數(shù)據(jù)；最后，所有數(shù)據(jù)應(yīng)該在處理器芯片上，而不是在單獨(dú)的存儲(chǔ)芯片上。

在這些內(nèi)核之間來(lái)回移動(dòng)數(shù)據(jù)的需求，正是WSE獨(dú)特性的來(lái)源。兩個(gè)內(nèi)核之間移動(dòng)數(shù)據(jù)最快、能耗最低的方法是將其放在同一硅基片。當(dāng)數(shù)據(jù)必須從一個(gè)芯片傳輸至另一個(gè)芯片時(shí)，由于距離更長(zhǎng)并且傳遞信號(hào)的“電線”必須更寬并且包裝密度更低，從而在速度和功耗上大打折扣。

所有通信在硅上的驅(qū)動(dòng)力，以及對(duì)小內(nèi)核和本地存儲(chǔ)器的渴望，都表明要盡可能生產(chǎn)大芯片，也許是整個(gè)硅晶圓那么大。Feldman說(shuō)，很明顯，我們做不到這一點(diǎn)，但是這顯然有很大的好處。

數(shù)十年，工程師一直認(rèn)為晶圓級(jí)芯片是一條死路。畢竟，IBM System/360大型機(jī)的首席架構(gòu)師Gene Amdahl曾在一家名為Trilogy Systems的公司嘗試并失敗了，但它足夠令人稱奇。但是Lauterbach和Feldman說(shuō)，任何與Amdahl方法的對(duì)比都已經(jīng)過(guò)時(shí)。當(dāng)時(shí)Amdahl使用的晶圓尺寸只有現(xiàn)在的1/10，而晶圓上相關(guān)器件的尺寸則是現(xiàn)在的30倍。

更重要的是，Trilogy無(wú)法處理生產(chǎn)芯片時(shí)出現(xiàn)的不可避免的錯(cuò)誤。如果其他所有條件相同，隨著芯片增大，缺陷的可能性也會(huì)增加。如果你的芯片尺寸接近于一張信紙（8.5" *11"規(guī)格），那么缺陷在所難免。

但是Lauterbach看到了一種架構(gòu)解決方案：由于他們針對(duì)的工作負(fù)載傾向于擁有數(shù)千個(gè)相同的小型內(nèi)核，因此可以嵌入足夠多的冗余內(nèi)核，這甚至可以解決1/100的缺陷造成的故障，并且依然不失為一塊功能強(qiáng)勁的大型芯片。

當(dāng)然，Cerebras仍然不得不解決許多制造問(wèn)題，才能打造其容錯(cuò)性的giganto芯片。比如，光刻工具被設(shè)計(jì)為將其定義特征的樣式投射到相對(duì)較小的矩形上，并一遍遍重復(fù)進(jìn)行。由于在晶片不同位置澆鑄不同樣式的高昂成本和巨大困難，這樣已經(jīng)把打造單一晶圓的許多系統(tǒng)拒之門外。

Cerebras內(nèi)部：冷卻系統(tǒng)占CS-1大部分，WSE芯片位于左后角。

但是WSE無(wú)需這樣。它就像布滿相同芯片的典型晶圓，與你平常制造的一樣。最大的挑戰(zhàn)是把這些偽芯片連接在一起。

芯片制造商在每個(gè)芯片周圍留下空白硅的細(xì)長(zhǎng)邊緣，稱之為劃片線。晶圓通常沿著這些線切成小塊。Cerebras與臺(tái)積電（TSMC）合作開(kāi)發(fā)了一種跨劃片線建立互連的方法，使每個(gè)偽芯片中的內(nèi)核皆可通信。

現(xiàn)在，所有通信和內(nèi)存在一塊硅片上，數(shù)據(jù)傳輸可以暢通無(wú)阻，從而產(chǎn)生每秒1,000 PB的內(nèi)核到內(nèi)核帶寬和每秒9 PB的SRAM到內(nèi)核帶寬。Feldman說(shuō)，這不僅僅是多，而是帶寬4個(gè)數(shù)量級(jí)的提升，因?yàn)槲覀冊(cè)诠杵稀?/div>