談?wù)凥PC可否掀起下一輪技術(shù)熱潮

1、 談?wù)凥PC可否掀起下一輪技術(shù)熱潮 轉(zhuǎn)載文章請注明作者和全文信息 需求的膨脹推動著技術(shù)變革，技術(shù)的革新進(jìn)一步豐富著我們的生活，如今大數(shù)據(jù)、云計(jì)算技術(shù)已經(jīng)自身疲憊了。然而跨界競爭和技術(shù)融合迫使我們不斷換血和補(bǔ)充能量來適應(yīng)一次次變革。那么在人工智能、虛擬現(xiàn)實(shí)、物聯(lián)網(wǎng)等技術(shù)熱潮過后，能預(yù)測到的下一個技術(shù)熱點(diǎn)會是什么，高性能計(jì)算(HPC)？面對技術(shù)和行業(yè)融合現(xiàn)狀，HPC應(yīng)該再適合不過了，另外，我也傾向于把HPC看作是一種跟各個行業(yè)比較緊密結(jié)合的技術(shù)。 在這里談到的HPC，已經(jīng)不僅僅是簡單的一堆計(jì)算、網(wǎng)絡(luò)、存儲、HPC軟件等設(shè)備，而更多的是聚焦在HPC的發(fā)展、主流玩家、技術(shù)趨勢和HPC未來出路?；仡櫄v史

2、，傳統(tǒng)HPC還是主要聚焦在仿真、物理化學(xué)、生命科學(xué)、渲染、勘探和氣象等六大場景，上層HPC集群化的特定應(yīng)用環(huán)境也是比較固定。 隨著大數(shù)據(jù)、云計(jì)算和技術(shù)發(fā)展和行業(yè)融合，HPC在各個層面的分類也發(fā)生了一些變化，根據(jù)HPC應(yīng)用的目標(biāo)市場可分為HPC商業(yè)市場和HPC科研市場。 然而，我個人覺得這個劃分相對來說太過于寬泛。行業(yè)采用比較多且容易理解的劃分方法是按照傳統(tǒng)HPC(以上述的六大場景為主)，HPDA高性能數(shù)據(jù)分析、HPC Anywhere和HyperScale四大類。 HPC Anywhere也實(shí)現(xiàn)了HPC和云的結(jié)合，例如Panzura、Ctera、Avere和Nasumi等集群文件網(wǎng)關(guān)存儲廠商，

3、他們提供一個高速的本地分布式NAS系統(tǒng)，用于對接AWS、Azure等這樣的公有云對象存儲和一些低速的NAS產(chǎn)品，通過這些網(wǎng)關(guān)提供了一個緩沖層，可以設(shè)置策略讓數(shù)據(jù)在網(wǎng)關(guān)和其它存儲之間流動，實(shí)現(xiàn)NAS或Object存儲直接與集群網(wǎng)關(guān)連接，甚至與公有云鏈接。 HPC系統(tǒng)涉及存儲、計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)、HPC軟件和L1層冷卻、機(jī)房、供電等多種復(fù)雜設(shè)備，但是從技術(shù)角度講，服務(wù)器、網(wǎng)絡(luò)標(biāo)準(zhǔn)都比較統(tǒng)一，每家廠商設(shè)計(jì)出的產(chǎn)品除了在管理方面差異較大之外，其他方面基本保持在同等水平。然而標(biāo)準(zhǔn)不一、最容易提升方案競爭力的還是存儲設(shè)備。 HPC存儲是在HPC應(yīng)用環(huán)境下，為解決傳統(tǒng)串行存儲性能瓶頸，所提出的專用存儲。HPC存

4、儲側(cè)的容量、性能、IOPS與HPC計(jì)算側(cè)的規(guī)模、性能弱相關(guān)。HPC存儲主要關(guān)注點(diǎn)性價比、低成本、占地空間等；在HPC典型應(yīng)用場景下，常見的業(yè)務(wù)模型大致如下： 在IOR測試工具中，IOPS實(shí)際上就等同于OPS，IOR工具在HPC的BenchMark測試中采用的是比較多的，主要原因是IOR對帶寬和OPS都比較適合，并提供豐富的參數(shù)來模擬不同的業(yè)務(wù)IO模型。 如果我們回顧一下HPC存儲技術(shù)發(fā)展歷史，不管采用怎樣的分類，我們會看到幾年前，HPC架構(gòu)是典型的3層架構(gòu)，即計(jì)算節(jié)點(diǎn)內(nèi)存、并行文件系統(tǒng)和歸檔存儲。平行文件系統(tǒng)對HPC性能影響是最大的，在某種意義上決定pFS乃至整個HPC存儲性能，所以針對超大規(guī)

5、模HPC集群，成千上萬個計(jì)算節(jié)點(diǎn)需要同時Checking Point時，一般基于NL_SAS磁盤的并行文件系統(tǒng)就有點(diǎn)力不從心了，那就需要在pFS之上多加一層高速大容量（相對于Memory）的Cache。 Burst Buffer技術(shù)和產(chǎn)品的出現(xiàn)使得HPC計(jì)算架構(gòu)發(fā)生了變化，Campaign存儲如同數(shù)據(jù)熱備，它的出現(xiàn)給數(shù)據(jù)生命周期管理增加了更多選擇。我個人認(rèn)為Burst Buffer技術(shù)只是一個技術(shù)過度，如果改善系統(tǒng)性能的Hybird存儲，不過，在目前SSD還相當(dāng)貴的狀況下，Burst Buffer卻能夠更好的匹配超大型HPC場景極致性能需求。在性能和容量空間比在20MB/TB至200MB/TB

6、之間，Burst Buffer可以說是非常適合的，通過簡單的配置調(diào)整，基本不會出現(xiàn)容量或性能超配，而且能發(fā)揮出SSD的價值。 如果沒有Burst buffer，所有性能層需要pFS來承載，Checking Point時性能需要pFS來承載內(nèi)存數(shù)據(jù)，Burst Buffer的另一個作用是在浪涌IO模型下，Burst Buffer可以作為高性能層和pFS一起提供性能，對小IO可以進(jìn)行合并優(yōu)化。目前DDN、Cray、EMC等都已經(jīng)支持，并且IBM也會很快支持，DDN、Cray和EMC的Burst buffer方案可以參考我之前的文章Burst Buffer技術(shù)為何在HPC如此盛行。 我們再來看看HP

7、C行業(yè)的的主要玩家，主要看看服務(wù)器和存儲。服務(wù)器廠商在HPC行業(yè)的的情況基本上和在整個服務(wù)器產(chǎn)品的市場份額保持一致。在技術(shù)上，服務(wù)器沒什么好說的，加內(nèi)存，加CPU，加接口卡性能一定會提升，通過高密節(jié)點(diǎn)也很容易提升密度。 HPC存儲廠商實(shí)主要分了3類，服務(wù)器廠商、傳統(tǒng)存儲廠商和專注于HPC行業(yè)的存儲廠商。從這些廠商我們看到，IBM雖然是服務(wù)器或者是傳統(tǒng)存儲廠商，但是借助于GPFS，其市場份額比較大的，隨著Lustre放棄企業(yè)版給客戶帶來的不確定性，GPFS的市場份額還會上升。DDN目前實(shí)現(xiàn)了Burst Buffer IME，在很多場景下憑借高性能、NVMe SSD和高密度領(lǐng)軍整個HPC行業(yè)。 既

8、然說到這里了，我們簡單看看DDN的Burst Buffer IME產(chǎn)品，IME產(chǎn)品支持三種形態(tài)。IME240采用2U商用服務(wù)器。單個產(chǎn)品提供20GB帶寬，提供48塊NVMe SSD，支持800G和1.8TB。5個IME240，配置1.8TB磁盤滿配，提供100GB帶寬，300TB容量，容量使用率80%。IME14KX基于專用的SFA14KX平臺，基于4U設(shè)備，支持的靈活配置NVMe磁盤。最大也是支持48磁盤，性能是10GB/s到滿配的50GB/s，擴(kuò)展性和IME240一致，支持?jǐn)U展到32個節(jié)點(diǎn)，性能達(dá)到1.6TB/s。IME SOFTWARE-ONLY是純軟件產(chǎn)品?？梢造`活部署在現(xiàn)有硬件。 實(shí)

9、際上，我個人認(rèn)為HPC系統(tǒng)在市場份額和項(xiàng)目上分布上，超大規(guī)模和中小型規(guī)模應(yīng)該是一半一半的，但是在企業(yè)市場，中小型規(guī)模的客戶一般是集成商或代理能夠接觸到的，而廠商能夠直接接觸或者說看的上眼的往往就是超大規(guī)模的HPC市場。所以對廠商來說跟進(jìn)HPC技術(shù)步伐就顯得尤為重要。我上面提到的已經(jīng)具備和馬上具備Burst Buffer的廠商，都是引領(lǐng)HPC行業(yè)和技術(shù)的廠商，如DDN、IBM等。 Panasas和Seagate是兩家專注HPC行業(yè)的專業(yè)存儲廠商，從目前來看，他們在Burst Buffer上沒有發(fā)力，但是他們在NL_SAS磁盤和HPC專有存儲上卻一直不懈努力。Panasas的技術(shù)從我一開始借助HP

10、C就吸引著我，ActiveStor 8、9、11、12采用數(shù)據(jù)控制分離，磁盤內(nèi)置控制器可以把HDD磁盤性能發(fā)揮極致，遺憾的是不知為何，最近幾年P(guān)anasas一直淡出在我們視野。 至于Seagate，更是把密度和HDD結(jié)合的非常完美的典范，ClusterStor可以在5U空間提供84個磁盤容量和16GB/s性能，從最新的宣傳來看，性能已經(jīng)翻番了。他們雖沒有采用SSD，但成了完全可以玩轉(zhuǎn)HPC的例子。 關(guān)于存儲的發(fā)展，我們有個業(yè)界一直被推崇的做法可以借鑒，那就是開源的重要性。從Linux，OpenStack，Ceph到Lustre、BeeGFS等。他們的成功說明開放的魅力強(qiáng)大，參與者越多產(chǎn)品才會越

11、穩(wěn)定，客戶才會認(rèn)同。擁抱開源，基于自己的優(yōu)勢和理解定制化，走出一條自己的路。DDN、Seagate還有很多HPC方案供應(yīng)商都是這樣從中獲利的?；厥譎PC并行文件系統(tǒng)，屈指可數(shù)，主流的有Lustre、GPFS、BeeGFS，當(dāng)然Glustre、Ceph和企業(yè)NAS也會在HPC中出現(xiàn)。 Lustre并行文件系統(tǒng)在超大規(guī)模(尤其是超算中心)和科教領(lǐng)等對成本敏感的領(lǐng)域，講到這里，那我們簡單談?wù)凩ustre的架構(gòu)。 Lustre文件系統(tǒng)不管多大，元數(shù)據(jù)和管理節(jié)點(diǎn)（MMU）基本上是固定的，只需根據(jù)系統(tǒng)容量配置調(diào)整元數(shù)據(jù)存儲（MGT&MDT）的容量即可，數(shù)據(jù)存儲單元SSU是存儲基本單元，按需擴(kuò)展實(shí)現(xiàn)容量和性

12、能擴(kuò)展。 GPFS在工業(yè)等對成本不敏感應(yīng)用，對系統(tǒng)穩(wěn)定性要求較高的系統(tǒng)中份額巨大，個人認(rèn)為IBM OEM out合作策略彌補(bǔ)了其在閉源上的不足。BeeGFS多采用服務(wù)器構(gòu)建文件系統(tǒng)，主要在歐洲的科研、高校機(jī)構(gòu)，中小型超算場景。 展望未來，HPC的出路到底在哪里？請參看前期文章HPC技術(shù)趨勢HPDA、深度學(xué)習(xí)和軟件定義等了解HPC趨勢和發(fā)展。HPC結(jié)合大數(shù)據(jù)是一個方向；目前HPDA已經(jīng)在大數(shù)據(jù)和HPC領(lǐng)域結(jié)合的比較好了，比如Lustre支持對接Hadoop、支持部署Hbase和Hive。大數(shù)據(jù)目前應(yīng)用范圍非常廣泛，并且跨界融合也很明顯，如智慧城市，海量視頻分析，要求HPC對接Hadoop實(shí)現(xiàn)數(shù)據(jù)共享，計(jì)算資源共享；物聯(lián)網(wǎng)傳感數(shù)據(jù)分析；以及小文件場景如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、