醫(yī)療行業(yè)非結(jié)構(gòu)化數(shù)據(jù)混合云存儲(chǔ)及大數(shù)據(jù)分析解決方案

1、“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案目 錄1 摘要12 需求分析與建設(shè)目標(biāo)23 解決方案43.1技術(shù)分析43.1.1 塊文件對(duì)象幾種方式的對(duì)比43.1.2 對(duì)象簡(jiǎn)介83.1.3 對(duì)象選型對(duì)比93.2 系統(tǒng)現(xiàn)狀103.3 BM GPFS解決方案113.3.1 GPFS Server集群123.3.2 GPFS系統(tǒng)基本結(jié)構(gòu)133.3.3 GPFS系統(tǒng)優(yōu)勢(shì)143.3.4 GPFS典型配置舉例153.4 BM C eversafe對(duì)象解決方案153.4.1 BM C eversafe對(duì)象.163.4.2 BM C eversafe對(duì)象與傳統(tǒng)高可用性對(duì)比173.4.3 BM C eversafe對(duì)象糾

2、刪（擦除）碼技術(shù)183.4.4 BM C eversafe對(duì)象軟硬件配置193.4.5 BM C eversafe對(duì)象擴(kuò)容213.4.6 C eversafe對(duì)象實(shí)現(xiàn)PACS系統(tǒng)的災(zāi)備建設(shè)213.5 大數(shù)據(jù)分析224 總結(jié)24采用C eversafe對(duì)象技術(shù)的新架構(gòu)用戶取得的.25I“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案1 摘要某市醫(yī)院（以下簡(jiǎn)稱醫(yī)院）是集醫(yī)療、教學(xué)、科研、預(yù)防為 體的現(xiàn)代化三級(jí)甲等綜合醫(yī)院。醫(yī)院現(xiàn)有A、B、C三個(gè)主體院區(qū)，編制床位1500張，開(kāi)放病床3000 張。在班子的帶領(lǐng)下，醫(yī)院全面實(shí)施“數(shù)字化醫(yī)院”建設(shè)，首創(chuàng)管理信息系統(tǒng)、建立城鄉(xiāng)協(xié)同醫(yī)療服務(wù)。醫(yī)院作為某市的龍頭醫(yī)院，業(yè)

3、務(wù)必其整體業(yè)務(wù)呈現(xiàn)快速增長(zhǎng)的態(tài)勢(shì)，當(dāng)前醫(yī)院正在擴(kuò)建新的住院病區(qū)，隨著住院床位數(shù)的增加，醫(yī)院的然會(huì)有 個(gè)明顯的增長(zhǎng)，而醫(yī)院的基礎(chǔ)架構(gòu)已經(jīng)相對(duì)老化，其現(xiàn)有的EMC系列已經(jīng)表現(xiàn)出性能瓶頸，醫(yī)院當(dāng)前的數(shù)據(jù)庫(kù)性能不均衡的情況，如果要求應(yīng)用軟件開(kāi)發(fā)商進(jìn)行軟件和數(shù)據(jù)庫(kù)性能調(diào)優(yōu)，可能需要花費(fèi)大量人力物力，但卻不能保證調(diào)優(yōu)的效果。醫(yī)院業(yè)務(wù)量的增漲帶來(lái)了數(shù)據(jù)量的增張，PACS系統(tǒng)海量的非結(jié)構(gòu)化數(shù)據(jù)安全高效的是目前亟需解決的問(wèn)題，在做好非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上，結(jié)合結(jié)構(gòu)化數(shù)據(jù)與Apache Spark數(shù)據(jù)分析處理引擎對(duì)接實(shí)現(xiàn)臨床操作和研發(fā)兩個(gè)方向的大數(shù)據(jù)分析，從而更好的服務(wù)于奠定基礎(chǔ)。并且促進(jìn)醫(yī)療行業(yè)從業(yè)專業(yè)技能的提升

4、，實(shí)現(xiàn)數(shù)字化醫(yī)院為全民健康綜合比較不同的傳統(tǒng)海量的非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)與云和容災(zāi)備份。技術(shù)后，選擇IBMGPFS+Cleversafe對(duì)象實(shí)現(xiàn)了PACS系統(tǒng)01“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案2 需求分析與建設(shè)目標(biāo)醫(yī)院的業(yè)務(wù)系統(tǒng)是醫(yī)院平臺(tái)（包括 PACS系統(tǒng)、HIS 系統(tǒng)、 RIS 系統(tǒng)、 LIS 系統(tǒng)等）。該系統(tǒng)具有以下特點(diǎn)：負(fù)載特點(diǎn)：業(yè)務(wù)峰值在上午9點(diǎn)至11點(diǎn)，并發(fā)用戶的量要求高，每天不定時(shí)大數(shù)據(jù)量分析負(fù)載，但產(chǎn)生分析負(fù)載的用戶數(shù)量不多。月末統(tǒng)計(jì)數(shù)據(jù)量增大，需要產(chǎn)生大量數(shù)據(jù)報(bào)表。數(shù)據(jù)特點(diǎn)：每天新增數(shù)據(jù)量 500G，數(shù)據(jù)類型復(fù)雜，有數(shù)字、文字等結(jié)構(gòu)化的數(shù)據(jù)還有大量的圖像和影像等非結(jié)構(gòu)化的

5、數(shù)據(jù) 總數(shù)據(jù)量 69%?？倲?shù)據(jù)量 31%，系統(tǒng)痛點(diǎn)：02“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案1醫(yī)院保證業(yè)務(wù)科室的平臺(tái)用于匯總醫(yī)院各類信息應(yīng)用系統(tǒng)數(shù)據(jù)，子應(yīng)用程序接口復(fù)雜，數(shù)據(jù)量大，需要速度，對(duì)系統(tǒng)的穩(wěn)定性要求極高。2原有的NAS系統(tǒng)已經(jīng)長(zhǎng)與業(yè)務(wù)發(fā)展的要求。數(shù)據(jù)增量的要求，需要提供切實(shí)的解決方案，滿足未來(lái)五年數(shù)據(jù)增3隨著數(shù)據(jù)量的增加，數(shù)據(jù)備份的周期在不斷增加，已經(jīng)影響到生產(chǎn)系統(tǒng)的業(yè)務(wù)響應(yīng)時(shí)間，業(yè)務(wù)連續(xù)性無(wú)法得到保障，因此要求提高業(yè)務(wù)系統(tǒng)的可靠性和可用性，保障業(yè)務(wù)連續(xù)性。4隨著數(shù)據(jù)量的增加，新的案需要降低運(yùn)維管理的復(fù)雜度。設(shè)備不斷上線，使運(yùn)維的工作越來(lái)越大，因此要求解決方建設(shè)目標(biāo)：醫(yī)院綜合各方面

6、因素，提出了構(gòu)建醫(yī)院“大數(shù)據(jù)云”平臺(tái)的建設(shè)目標(biāo)，具體如下：1構(gòu)建 套安全、穩(wěn)固的大數(shù)據(jù)云平臺(tái)，集中統(tǒng) 承載醫(yī)院所有業(yè)務(wù)數(shù)據(jù)；2為醫(yī)院平臺(tái)提供高性能、穩(wěn)定可霏，并具有足夠彈性的平臺(tái)；3為PACS影像類數(shù)據(jù)提供大量低成本的空間并具有足夠的擴(kuò)展能力；4未來(lái)擴(kuò)容應(yīng)該可以基本做到不停機(jī)（停機(jī)時(shí)間在可接受范圍內(nèi)）；5提高業(yè)務(wù)系統(tǒng)的可靠性和可用性，實(shí)現(xiàn)容災(zāi)備份，保障業(yè)務(wù)連續(xù)性。03“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3 解決方案根據(jù)用戶的需求我公司提出以下解決方案：POWER小型機(jī)采用POWER VM虛擬化，X86服務(wù)器采用VMWARE虛擬化，采用IBM應(yīng)用系統(tǒng)在SVC對(duì)進(jìn)行整合，實(shí)現(xiàn)池，提高和管理和利用

7、效率，滿足的需求，建設(shè)同城數(shù)據(jù)中時(shí)段、日終、計(jì)息，年節(jié)時(shí)間段對(duì)主機(jī)心，兩中心通過(guò)SVC 的Hyperswap+MetroMirror實(shí)現(xiàn)，同時(shí)配置第三站點(diǎn)的硬盤級(jí)仲裁防止出現(xiàn)腦裂，采用IBM的云管平臺(tái)實(shí)現(xiàn)POWER和X86虛擬有任何性可言的系統(tǒng)遷到公有云平臺(tái)。的統(tǒng) 管理，把金融的，各種業(yè)務(wù)的咨詢等沒(méi)3.1技術(shù)分析3.1.1 塊、文件、對(duì)象幾種方式的對(duì)比塊指在 個(gè)RAID（磁盤冗余陣列）集中， 個(gè)器加入 組磁盤驅(qū)動(dòng)器，然后提供固定大小的RAID塊作為L(zhǎng)UN（邏輯單元號(hào)）的卷。接著塊會(huì)采用的方式將這幾個(gè)邏輯盤給主機(jī)，主機(jī)上面的操作系統(tǒng)會(huì)識(shí)別到有5塊硬盤，但是操作系統(tǒng)是區(qū)分不出到底是邏輯還是物理的，

8、它 概就認(rèn)為只是5塊 的物理硬盤而已，跟直接拿塊物理硬盤掛載到操作系統(tǒng)沒(méi)有區(qū)別的，至少操作系統(tǒng)感知上沒(méi)有區(qū)別。此種方式下，操作系統(tǒng)還需要對(duì)掛載的 硬盤進(jìn)行分區(qū)、格式化后，才能使用，與平常主機(jī)內(nèi)置硬盤的方式完全無(wú)異。優(yōu)點(diǎn)：1這種方式的好處當(dāng)然是因?yàn)橥ㄟ^(guò)了Raid與LVM等，對(duì)數(shù)據(jù)提供了保護(hù)。2另外也可以將多塊廉價(jià)的硬盤組合起來(lái)，成為 個(gè)大容量的邏輯盤對(duì)外提供服務(wù)，提高了容量。3寫(xiě)入數(shù)據(jù)的時(shí)候，由于是多塊磁盤組合出來(lái)的邏輯盤，所以幾塊磁盤可以并行寫(xiě)入的，提升了讀寫(xiě)效率。04“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案4很多時(shí)候塊到提升。采用SAN架構(gòu)組網(wǎng)，傳輸速率以及封裝協(xié)議的，使得傳輸速度與讀寫(xiě)速率得

9、缺點(diǎn)：1采用SAN架構(gòu)組網(wǎng)時(shí)，需要額外為主機(jī)光纖通道卡，還要買光纖交換機(jī)，造價(jià)成本高。2主機(jī)之間的數(shù)據(jù)無(wú)法共享，在服務(wù)器不做集群的情況下，塊盤給主機(jī)，再格式化使用后，對(duì)于主機(jī)來(lái)說(shuō)相當(dāng)于本地盤，那么主機(jī)A的本地盤根本不能給主機(jī)B去使用，無(wú)法共享數(shù)據(jù)。3不利于不同操作系統(tǒng)主機(jī)間的數(shù)據(jù)共享：另外 個(gè)是因?yàn)椴僮飨到y(tǒng)使用不同的文件系統(tǒng)，格式化完之后，不同文件系統(tǒng)間的數(shù)據(jù)是共享不了的。例如 臺(tái)裝了 WIN7/XP，文件系統(tǒng)是FAT32/NTFS， 而Linux是EXT4，EXT4是無(wú)法識(shí)別NTFS的文件系統(tǒng)的。就像 只NTFS格式的U盤，插進(jìn)Linux的筆記本，根本無(wú)法識(shí)別出來(lái)。所以不利于文件共享。文件：

10、為了克服塊文件無(wú)法共享的問(wèn)題，所以有了文件。文件也有軟硬 體化的設(shè)備，但是其實(shí)普通拿 臺(tái)服務(wù)器/筆記本，只要裝上合適的操作系統(tǒng)與軟件，就可以架設(shè) FTP與NFS 服務(wù)了，架上該類服務(wù)之后的服務(wù)器，就是文件的 種了。主機(jī)A可以直接對(duì)文件進(jìn)行文件的上傳，與塊搞定了。不同，主機(jī)A是不需要再對(duì)文件進(jìn)行格式化的，因?yàn)槲募芾砉δ芤呀?jīng)由文件優(yōu)點(diǎn)：1造價(jià)交低：隨便 臺(tái)造價(jià)低。就可以了，另外普通以太網(wǎng)就可以，根本不需要的 SAN，所以2方便文件共享：例如主機(jī) A（WIN7，NTFS 文件系統(tǒng)），主機(jī)B（Linux，EXT4文件系統(tǒng)），想互拷 部，本來(lái)不行。加了個(gè)主機(jī)C（NFS服務(wù)器），然后可以先A拷到C，再C

11、拷到B就OK了。缺點(diǎn)：05“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案讀寫(xiě)速率低，傳輸速率慢：以太網(wǎng)，上傳速度較慢，另外所有讀寫(xiě)都要1臺(tái)服務(wù)器里面的硬盤來(lái)承擔(dān)，相比起磁盤陣列動(dòng)不動(dòng)就幾十上百塊硬盤同時(shí)讀寫(xiě)，速率慢了許多。企業(yè)級(jí)的NAS采用RAID技術(shù)提升了數(shù)據(jù)的可靠性和讀寫(xiě)速率，同時(shí)采用萬(wàn)兆光纖接口提升了傳輸速率，適合于中小規(guī)模的醫(yī)院用于PACS系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)的存取，當(dāng)數(shù)據(jù)量達(dá)到PB級(jí)別時(shí)NAS機(jī)頭會(huì)出現(xiàn)瓶頸。下圖是塊與文件的對(duì)比圖：對(duì)象：內(nèi)置大容量硬盤的分布式服務(wù)器是對(duì)象的典型設(shè)備，對(duì)象最常用的方案，就是多臺(tái)服務(wù)器內(nèi)置大容量硬盤，再裝上對(duì)象軟件，然后再額外配置幾臺(tái)服務(wù)作為點(diǎn)，安裝上對(duì)象存儲(chǔ)管理軟

12、件。點(diǎn)可以管理其他服務(wù)器對(duì)外提供讀寫(xiě)功能。之所以出現(xiàn)了對(duì)象這種東西，是為了克服塊與文件各自的缺點(diǎn)，發(fā)揚(yáng)它倆各自的優(yōu)點(diǎn)。簡(jiǎn)單來(lái)說(shuō)塊讀寫(xiě)快，不利于共享，文件讀寫(xiě)慢，利于共享。能否實(shí)現(xiàn)即讀寫(xiě)快又利于共享的目的呢？于是就有了對(duì)象。06“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案首先， 個(gè)文件包含了屬性（術(shù)語(yǔ)叫 metadata，元數(shù)據(jù)，例如該文件的大小、修改時(shí)間、等）以及內(nèi)容（以下簡(jiǎn)稱數(shù)據(jù)）。路徑以往像 FAT32 這種文件系統(tǒng)，是直接將 份文件的數(shù)據(jù)與metadata 起的，過(guò)程先將文件按照文件系統(tǒng)的最小塊大小來(lái)打散（如4M的文件，假設(shè)文件系統(tǒng)要求 個(gè)塊4K，那么就將文件打散成為1000個(gè)小塊），再寫(xiě)進(jìn)硬

13、盤里面，過(guò)程中沒(méi)有區(qū)分?jǐn)?shù)據(jù)/metadata的。而每個(gè)塊最后會(huì)告知你下 個(gè)要讀取的塊的地址，然后 直這樣順序地按圖索驥，最后完成整份文件的所有塊的。這種情況下讀寫(xiě)速率很慢，因?yàn)榫退隳阌?00個(gè)機(jī)械手臂在讀寫(xiě)，但是由于你只有到第 個(gè)塊，才能知道下個(gè)塊在哪里，其實(shí)相當(dāng)于只能有1個(gè)機(jī)械手臂在實(shí)際工作。而對(duì)象主要負(fù)責(zé)則將元數(shù)據(jù)了出來(lái)，節(jié)點(diǎn)叫元數(shù)據(jù)服務(wù)器（服務(wù)器+對(duì)象管理軟件），里面對(duì)象的屬性（主要是對(duì)象的數(shù)據(jù)散存放到了分布式服務(wù)器中的信息），而其他負(fù)責(zé)數(shù)據(jù)的分布式服務(wù)器叫做OSD，主要負(fù)責(zé)文件的數(shù)據(jù)部分。當(dāng)用戶對(duì)象，會(huì)先元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器只負(fù)責(zé)反饋對(duì)象在哪些OSD，假設(shè)反饋文件A數(shù)據(jù)。在B、C

14、、D三臺(tái)OSD，那么用戶就會(huì)再次直接3臺(tái)OSD服務(wù)器去這時(shí)候由于是3臺(tái)OSD同時(shí)對(duì)外傳輸數(shù)據(jù)，所以傳輸?shù)乃俣染图涌炝?。?dāng)OSD服務(wù)器數(shù)量越多，這種讀寫(xiě)速度的提升就越大，通過(guò)此種方式，實(shí)現(xiàn)了讀寫(xiě)快的目的。另 方面，對(duì)象軟件是有專門的文件系統(tǒng)的，所以O(shè)SD對(duì)外又相當(dāng)于文件服務(wù)器，那么就不文件共享方面的了，也解決了文件共享方面的問(wèn)題。所以對(duì)象的出現(xiàn)，很好地結(jié)合了塊與文件的優(yōu)點(diǎn)。為什么對(duì)象兼具塊與文件的好處，還要使用塊或文件呢？1有 類應(yīng)用是需要直接 盤的，例如數(shù)據(jù)庫(kù)。因?yàn)閿?shù)據(jù)庫(kù)需要盤給后，再根據(jù)的數(shù)據(jù)庫(kù)文件系統(tǒng)來(lái)對(duì) 盤進(jìn)行格式化的，所以是不能夠采用其他已經(jīng)被格式化為某種文件系統(tǒng)的的。此類應(yīng)用更適合使

15、用塊。2對(duì)象的成本比起普通的文件還是較高，需要專門的對(duì)象軟件以及大容量硬盤。07“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案如果對(duì)數(shù)據(jù)量要求不是海量，只是為了做文件共享的時(shí)候，直接用文件的形式好了，性價(jià)比高。3.1.2 對(duì)象簡(jiǎn)介對(duì)象的出現(xiàn)就是為解決了海量大數(shù)據(jù)的問(wèn)題。比如萬(wàn)億的、圖片，等。比如進(jìn)行海量的數(shù)據(jù)歸檔，數(shù)據(jù)備份等。對(duì)象可以海量非結(jié)構(gòu)化數(shù)據(jù)，然后進(jìn)行大數(shù)據(jù)分析。對(duì)象可以其采用key volume的扁平化架構(gòu)設(shè)計(jì)，使用簡(jiǎn)單，調(diào)用API就能進(jìn)行數(shù)據(jù)和。海量數(shù)據(jù)，這點(diǎn)傳統(tǒng)和NAS就沒(méi)轍。在海量數(shù)據(jù)場(chǎng)景中你只能選擇對(duì)象。如果傳統(tǒng)SAN是跑車，NAS是貨車，那么對(duì)象就是萬(wàn)億噸海上集裝箱大油輪。08“架

16、構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3.1.3 對(duì)象選型對(duì)比企業(yè)自行開(kāi)發(fā) 套對(duì)象行不行個(gè)人認(rèn)為，專業(yè)的事情交給專業(yè)的團(tuán)隊(duì)去做是最好的，對(duì)象技術(shù)雖然不算高科技，很多開(kāi)源軟件也可以拿來(lái)借鑒，但是專業(yè)公司提供的對(duì)象除了能夠滿足穩(wěn)定性、高效性、靈活性要求之外，更重要的其實(shí)是后期的的對(duì)象技術(shù)支持。自研有 定的局限性，同時(shí)需要投入大量人力物力，有時(shí)候做出在安全性，穩(wěn)定性方面不 定能夠完全滿足生產(chǎn)的需求。如果公司想自研，得有相當(dāng)層次的開(kāi)發(fā)團(tuán)隊(duì)，對(duì)大規(guī)模并，底層，操作系統(tǒng)都有點(diǎn)經(jīng)驗(yàn)的，并且后續(xù)有二次開(kāi)發(fā)的思想準(zhǔn)備，時(shí)間周期也或者漸行漸遠(yuǎn)的問(wèn)題。太短，還要處理社區(qū)版本迭代和你自選分支的Ceph“對(duì)象”Ceph并不

17、是開(kāi)源對(duì)象最好的選擇，Ceph是個(gè)統(tǒng)，有分布式塊，文件，對(duì)象三種接口，比較全，這是它比較受關(guān)注的著諸多問(wèn)題。單獨(dú)來(lái)看底層的對(duì)象Rados，在開(kāi)發(fā)者社區(qū)中口碑并不是很好，如果是選擇廠商的SDS方案，如果是基于Ceph做的（國(guó)內(nèi)不少?gòu)S商），其實(shí)這個(gè)階段成熟與否還不好說(shuō)，畢竟這項(xiàng)目社區(qū)里參與 者很多，時(shí)間也不長(zhǎng)，所謂成熟也就是有 部分坑能填上吧。前面說(shuō)的社區(qū)版本迭代跟不跟的問(wèn)題也還是 樣的。個(gè)開(kāi)源項(xiàng)目能不能生產(chǎn)使用很多時(shí)候并不取決于項(xiàng)目本身，同時(shí)使用者對(duì)于整個(gè)生產(chǎn)系統(tǒng)和開(kāi)源項(xiàng)目的理解 了相當(dāng)大比例。當(dāng)然，也跟項(xiàng)目的階段以及整個(gè)關(guān)。就使用Ceph而言，如果是 些無(wú)害環(huán)境，基本上也發(fā)現(xiàn)啥問(wèn)題。當(dāng)只要是需

18、要保證性能和可用性的情況下，用戶通常都要經(jīng)歷長(zhǎng)時(shí)間的運(yùn)維和解決問(wèn)題的磨練。特別是眼下Ceph迭代較快，問(wèn)題解決方式有限，很多時(shí)候都要依賴開(kāi)發(fā)者才能解決。當(dāng)然，如果沒(méi)碰到問(wèn)題當(dāng)然萬(wàn)事大吉。好 些的做法是在 些開(kāi)發(fā)測(cè)試環(huán)境先使用某 個(gè)版本至少半年以上，嘗試在保證 些性能以及數(shù)據(jù)可用性基礎(chǔ)上運(yùn)維。半年之后，自然會(huì)對(duì)這個(gè)問(wèn)題有更深理解。09“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案我們?nèi)绻褜?duì)象部署在 個(gè)相對(duì)快的局域網(wǎng)環(huán)境內(nèi)，那么這個(gè)對(duì)象也就兼具了NAS的高速基因，這時(shí)， 個(gè)對(duì)象也就在某種程度上，可以演變?yōu)?個(gè)相對(duì)快速的，這也是為什么ceph可以兼具對(duì)象、塊、文件的。當(dāng)然，這種“變味”的對(duì)象也就不具備乃至

19、全球分布式帶來(lái)的超高可靠性了。3.2 系統(tǒng)現(xiàn)狀醫(yī)院年前按分級(jí)的原則重劃了 PACS系統(tǒng)，PACS數(shù)據(jù)除了少部分PACS索引、日志數(shù)據(jù)外，絕大部分為醫(yī)學(xué)影像圖片數(shù)據(jù)。通常采用三級(jí)模式：第 級(jí)為數(shù)據(jù)，保存最近半年的影像數(shù)據(jù)；第為近線數(shù)據(jù)，保存半年以上、2年以內(nèi)的影像數(shù)據(jù)（PACS系統(tǒng)軟件可以配置保存周期）；第三級(jí)為離線數(shù)據(jù)，保存15年內(nèi)的影像數(shù)據(jù)。同時(shí)，還有考慮異地容災(zāi)。對(duì)于 個(gè)三甲醫(yī)院，PACS 半年數(shù)據(jù)量約 35T，1 年數(shù)據(jù)量約為70T，因此：數(shù)據(jù)：35T近線數(shù)據(jù)：105T離線數(shù)據(jù)：1050T隨著醫(yī)院的業(yè)務(wù)量的增加，PACS系統(tǒng)的數(shù)據(jù)也在快速增漲，PACS系統(tǒng)的數(shù)據(jù)是圖像或影像的非結(jié)構(gòu)方式，

20、隨著數(shù)據(jù)量的增漲NAS已經(jīng)達(dá)到了性能的瓶頸，希望能找到種更好的化數(shù)據(jù)，采用NAS方式滿足未來(lái)五年的數(shù)據(jù)和業(yè)務(wù)發(fā)展需求。10“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案采用IBM GPFS實(shí)現(xiàn)原有NAS系統(tǒng)中的數(shù)據(jù)到IBM Cleversafe對(duì)象的遷移，最終實(shí)現(xiàn)PACS系統(tǒng)海量非結(jié)構(gòu)化數(shù)據(jù)的對(duì)象，滿足未來(lái)五年數(shù)據(jù)增長(zhǎng)與業(yè)務(wù)發(fā)展的要求。3.3 IBM GPFS 解決方案隨著數(shù)據(jù)量的增加，通過(guò)NFS協(xié)議實(shí)現(xiàn)客戶端節(jié)點(diǎn)對(duì)的瓶頸，因此采用GPFS并行文件系統(tǒng)來(lái)實(shí)現(xiàn)客戶端對(duì) 升?？臻g的共享的NAS解決方案出現(xiàn)了性能上空間的共享，這樣對(duì)性能會(huì)有很大的提GPFS(General Parallel File Sys

21、tem ,GPFS) 是 IBM公司第 個(gè)共享文件系統(tǒng)，于 IBM SP 系統(tǒng)上使用的虛擬共享磁盤技術(shù)( VSD )。作為這項(xiàng)技術(shù)的， GPFS 是 個(gè)并行的磁盤文件系統(tǒng)，它保證在組內(nèi)的所有節(jié)點(diǎn)可以并行整個(gè)文件系統(tǒng)；而且此文件系統(tǒng)的服務(wù)操作，可以同時(shí)在使用此文件系統(tǒng) 的多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。 GPFS客戶共享文件，而這些文件可能分布在不同節(jié)點(diǎn)的不同硬盤上；它提供了許多標(biāo)準(zhǔn)的 UNIX 文件系統(tǒng)接口，應(yīng)用不需修改或者重新編輯就可以在其上運(yùn)行。11“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3.3.1 GPFS Server 集 群從架構(gòu)上GPFSServer是底層通過(guò)連接識(shí)別了后端NAS的服務(wù)器，在這些服務(wù)

22、器上創(chuàng)建了GPFS集群，并構(gòu)建了不同的GPFS文件系統(tǒng)，形成了統(tǒng) 的GPFS平臺(tái)，可以為前端應(yīng)用提供統(tǒng) 的并行共享的文件系統(tǒng)空間，實(shí)現(xiàn)數(shù)據(jù)的共享；因?yàn)镚PFS Server統(tǒng) 為前端所有應(yīng)用提供I/O數(shù)據(jù)訪問(wèn)，在設(shè)備選型上建議使用計(jì)算能力較好的Unix Power服務(wù)器，是因?yàn)镚PFS與AIX操作系統(tǒng)的集成度相比較對(duì)其他系統(tǒng)平臺(tái)更好，同時(shí)也可以充分利用Power小機(jī)的計(jì)算能力。12“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3.3.2 系統(tǒng)基本結(jié)構(gòu)磁盤GPFS 文件系統(tǒng)最底層的是物理磁盤設(shè)備。原則上可以采用系統(tǒng)上任何塊設(shè)備，包括磁盤，磁盤分區(qū)，邏輯卷。從物理連接上來(lái)看，GPFS 支持使用所有方式連接

23、的磁盤。包括本地 IDE 磁盤，本地SCSI 磁盤，光纖 SAN 磁盤，iSCSI 磁盤，等等。共享磁盤（NSD）對(duì)應(yīng)的關(guān)系。NSD 被標(biāo)記了不同屬性來(lái)區(qū)分NSD 是由磁盤出來(lái)的虛擬設(shè)備，NSD 與磁盤是其用途，我們可以將磁盤標(biāo)記為 4 種用途：13“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案DescOnly：只GPFS 文件系統(tǒng)描述信息的磁盤。DataOnly：只文件系統(tǒng)中的數(shù)據(jù)信息。Meta data only: 只文件系統(tǒng)中的目錄結(jié)構(gòu)inode信息。Meta and data:所有信息（默認(rèn)）。GPFS 文件設(shè)備GPFS 設(shè)備是 個(gè)可被系統(tǒng)掛載的文件設(shè)備，由 NSD 創(chuàng)建而成，可以并行的同時(shí)掛

24、載在多個(gè)節(jié)點(diǎn)上。3.3.3 GPFS 系統(tǒng)優(yōu)勢(shì)高性能：GPFS在同 節(jié)點(diǎn)內(nèi)的多進(jìn)程或者應(yīng)用使用標(biāo)準(zhǔn)文件系統(tǒng)調(diào)用，同時(shí)（并發(fā)，讀寫(xiě)）同 個(gè)文件。通過(guò)將節(jié)點(diǎn)內(nèi)讀寫(xiě)操作分布到多個(gè)磁盤上，大大增加了文件系統(tǒng)的帶寬，通過(guò)整個(gè)系統(tǒng)的負(fù)載均衡避免了某個(gè)磁盤過(guò)大的讀寫(xiě)?？缙脚_(tái)設(shè)計(jì)：GPFS支持在個(gè)集群內(nèi)加入異構(gòu)的平臺(tái)，支持異構(gòu)的硬件環(huán)境：System p, System x，支持異構(gòu)的操作系統(tǒng)：AIX,Linux。數(shù)據(jù) 致性：GPFS通過(guò) 套復(fù)雜的信令管理機(jī)制提供數(shù)據(jù) 致性。通過(guò)這套機(jī)制任意節(jié)點(diǎn)通過(guò)各自的路徑到達(dá)同 個(gè)文件。即使節(jié)點(diǎn)無(wú)法正常工作， GPFS 也可以找到其它的路徑。數(shù)據(jù)安全性：GPFS 是 種日

25、志文件系統(tǒng)，為不同節(jié)點(diǎn)建立各自的日志。日志中分布， 旦節(jié)點(diǎn)發(fā)生故障后，可以保證快速恢復(fù)數(shù)據(jù)。metadata 的GPFS 的fail over 功能通過(guò)，將數(shù)據(jù)分布到不同 failure group 內(nèi)達(dá)到高可用性，減少單點(diǎn)故障的影響。為了保證數(shù)據(jù)可用性， GPFS 在多個(gè) failure group 內(nèi)為每個(gè)數(shù)據(jù)實(shí)例做備份，即使創(chuàng)建文件系統(tǒng)時(shí)沒(méi)有要求， GPFS 也會(huì)自動(dòng)在不同的 failure group 內(nèi)恢復(fù)日志。系統(tǒng)可擴(kuò)展性：通過(guò) GPFS ，系統(tǒng)可以動(dòng)態(tài)調(diào)整，可以在文件系統(tǒng)掛載情況下添加或者刪除硬14“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案盤。系統(tǒng)處于相對(duì)空閑時(shí)，用戶可以在已配置的硬

26、盤上重新均衡文件系統(tǒng)以提高吞吐量?？梢栽诓恢匦聠?dòng)GPFS 服務(wù)情況下添加新節(jié)點(diǎn)。管理簡(jiǎn)單：GPFS 自動(dòng)在各個(gè)節(jié)點(diǎn)間同步配置文件和文件系統(tǒng)信息，而且在同以在任 個(gè)節(jié)點(diǎn)上進(jìn)行。個(gè)節(jié)點(diǎn)內(nèi)，對(duì)GPFS的3.3.4 GPFS 典型配置舉例采用IBM GPFS 的AFM功能，可以有效遷移原有NAS系統(tǒng)中不影響應(yīng)用的正常運(yùn)行。的數(shù)據(jù)，在遷移過(guò)程中對(duì)應(yīng)用透明，3.4 IBM Cleversafe對(duì)象解決方案根據(jù)醫(yī)院 PACS 系統(tǒng)現(xiàn)在的問(wèn)題和建設(shè)目標(biāo)，采用 IBMCleversafe對(duì)象技術(shù)實(shí)現(xiàn)海量的非結(jié)構(gòu)化數(shù)據(jù)的和容災(zāi)備份。15“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3.4.1 IBM Cleversaf

27、e對(duì)象IBM Cleversafe對(duì)象由三部分組成，包括CS Manager點(diǎn)、Accesser節(jié)點(diǎn)和Silcestor存儲(chǔ)節(jié)點(diǎn)，其中外的用戶點(diǎn)安裝Cleversafe軟件實(shí)現(xiàn)對(duì)Cleversafe對(duì)象系統(tǒng)的和管理，節(jié)點(diǎn)提供對(duì)，節(jié)點(diǎn)用于代替原有的NAS系統(tǒng)保存海量的數(shù)據(jù)。IBM Cleversafe具有以下特性：1可擴(kuò)展性，多家100PB以上的客戶，擴(kuò)展至EB以上的無(wú)共享架構(gòu)。2安全性，零接觸、運(yùn)營(yíng)商級(jí)別的安全性且內(nèi)置加密功能。16“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3可管理性，每名管理員可管理25PB數(shù)據(jù)，零宕機(jī)時(shí)間。4可用性，提供9個(gè)9的可靠性，6個(gè)9的可用性。5上運(yùn)行。效益，消除、鏡像

28、和DR成本，成本降低80%，軟件解決方案可在任何供應(yīng)商的x86硬件3.4.2 IBM Cleversafe對(duì)象與傳統(tǒng)高可用性對(duì)比采用傳統(tǒng)的在RAID6架構(gòu)下1PB的原始數(shù)據(jù)要 用1.2PB的空間，為了實(shí)現(xiàn)數(shù)據(jù)安全做本地鏡像和同城復(fù)本后數(shù)據(jù)要 用3.6PB（1.2*3）的空間，那么膨脹因子就是3倍，采用IBMCleversafe對(duì)象1PB 的原始數(shù)據(jù)要 用 1.7PB 的空間，Cleversafe對(duì)象使用 1.7 倍的膨脹因子就可以實(shí)現(xiàn)建用更少的磁盤， 用更少的機(jī)架，設(shè)與RAID6相同或是還要高可靠的系統(tǒng)，Cleversafe對(duì)象節(jié)約機(jī)房空間，降低了運(yùn)營(yíng)成本，降低了運(yùn)維管理的難度，無(wú)需其它軟件就

29、可以實(shí)現(xiàn)高可靠性用性。17“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3.4.3 IBM Cleversafe對(duì)象糾刪（擦除）碼技術(shù)IBM Cleversafe對(duì)象使用糾刪碼技術(shù)實(shí)現(xiàn)系統(tǒng)的高可靠用，糾刪碼技術(shù)首先對(duì)原始數(shù)據(jù)進(jìn)行分段（每段4M），之后對(duì) 個(gè)分段進(jìn)行切片，例如 個(gè)分段切7片，之后通過(guò)ECC校驗(yàn)算法變換為12片，這樣膨脹因子就是1.7，1PB的原始數(shù)據(jù)就 用了1.7PB的空間，這1.7PB的空間由12個(gè)切片組成，把這12個(gè)切片均勻的部署在多個(gè)站點(diǎn)的每 臺(tái)服務(wù)器中，例如在三個(gè)站點(diǎn)每個(gè)站點(diǎn)部署4臺(tái)服務(wù)器，這樣在這三個(gè)站點(diǎn)中只要有7臺(tái)服務(wù)器是正常運(yùn)行的，數(shù)據(jù)就是完好的可以正常，可以避免服務(wù)器硬件

30、故障或斷電，故障，甚至1個(gè)站點(diǎn)故障都影響數(shù)據(jù)的可靠性和可用性，任何 個(gè)站點(diǎn)的任意 臺(tái)服務(wù)器硬盤損壞后，只需塊新硬盤而無(wú)需做 RAID 就可以正常使用了。18“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案3.4.4 IBM Cleversafe對(duì)象軟硬件配置CSManager點(diǎn)和Accesser節(jié)點(diǎn)可以選用1U或是2U的X86服務(wù)器，配置大內(nèi)存如128GB，256GB，對(duì)其它硬件沒(méi)有特殊要求。Silcestor節(jié)點(diǎn)服務(wù)器可以選用4U高密度x86服務(wù)器，該服務(wù)器滿配48塊硬盤，每塊硬盤配置8Tb，這樣 臺(tái)服務(wù)器的祼容量就是384Tb，12臺(tái)服務(wù)器可以提供4.5Pb的祼容量，冗余系數(shù)是1.7，那么可用容量有

31、 2.6Pb。19“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案下圖是硬件配置建議：下圖是Cleversafe的管理界面：20“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案通過(guò)Cleversafe管理界面可以實(shí)現(xiàn)對(duì)Accesser護(hù)管理。節(jié)點(diǎn)和Silcestor節(jié)點(diǎn)的運(yùn)行狀態(tài)進(jìn)行和維3.4.5 IBM Cleversafe對(duì)象擴(kuò)容當(dāng)用戶的量很大時(shí)無(wú)需關(guān)心節(jié)點(diǎn)，只需關(guān)心節(jié)點(diǎn)就可以了，增加節(jié)點(diǎn)的數(shù)量就可以提升用戶的速度。當(dāng)節(jié)點(diǎn)的容量不足時(shí)，去除并加電服務(wù)器的時(shí)間只需要十幾分鐘就可以實(shí)現(xiàn)的擴(kuò)容。Cleversafe對(duì)象有如下三種方式：3.4.6 Cleversafe對(duì)象實(shí)現(xiàn)PACS 系統(tǒng)的災(zāi)備建設(shè)災(zāi)備建設(shè)正是Cle

32、versafe的強(qiáng)項(xiàng)所在，對(duì)比傳統(tǒng)，因?yàn)榧m刪碼的算法，從而無(wú)需副本、RAID方式，就能夠在配置合理的情況下，對(duì)應(yīng)40%的節(jié)點(diǎn)失效，這40%的節(jié)點(diǎn)數(shù)會(huì)大于我個(gè)站點(diǎn)所包含的節(jié)點(diǎn)，這樣的失效場(chǎng)景也影響業(yè)務(wù)系統(tǒng)的正常工作。同時(shí)，可以做到糾刪碼算法后的切片能夠分發(fā)到21“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案異地，因此Cleversafe如果多站點(diǎn)的部署情況下，不需要做任何數(shù)據(jù)同步備份即可實(shí)現(xiàn)災(zāi)備系統(tǒng)的建設(shè)，（多站點(diǎn)的部署可以根據(jù)醫(yī)院的實(shí)際情況選擇是同城多站點(diǎn)還是異地多站點(diǎn)的部署）災(zāi)備架構(gòu)圖如下：3.5 大數(shù)據(jù)分析醫(yī)療行業(yè)大數(shù)據(jù)分析包括臨床操作和研發(fā)兩個(gè)大方向，臨床操作包括醫(yī)療數(shù)據(jù)的、監(jiān)控、臨床決策支持系

33、統(tǒng)，比較效果研究等；研究方面包括的統(tǒng)計(jì)工具和算法等。建模、疾病模式的分析和提高臨床試驗(yàn)設(shè)計(jì)本方案在做好非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上，結(jié)合結(jié)構(gòu)化數(shù)據(jù)與Apache Spark數(shù)據(jù)分析處理引擎對(duì)接實(shí)現(xiàn)臨床操作和研發(fā)兩個(gè)方向的大數(shù)據(jù)分析，Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式外，它還可以優(yōu)化迭代工作負(fù)載，Spark的運(yùn)行速度是Hadoop MapReduce的100倍，而且它還結(jié)合了SQL、流處理和復(fù)雜情況分析。使用Stocator和 OpenStack功能。Stocator利用了對(duì)象Keystone，前者是 個(gè)用作驅(qū)動(dòng)程序的開(kāi)源軟件，后者提供了驗(yàn)證語(yǔ)義，而且與以前專為處理文件系統(tǒng)而設(shè)計(jì)的 Spark連接器相比，Stocator顯著提高了性能。Stocator采用 JOSS（ 個(gè)開(kāi)源 Java 客戶端）生成 HTTP REST 命令，這些命22“架構(gòu)之美”軟件定義擂臺(tái)賽優(yōu)秀解決方案下圖是 IBMCleversafe、Stocator與 OpenStack Keystone 之間的關(guān)系圖：首先，安裝和配置Spark，可以將 Spark 配置為立，或者在集群上使用YARN、Mesos或Spark 的集群管理器。其次，安裝和配置 IBM Cleversafe，為 IBM Cleversafe設(shè)置了 Keystone驗(yàn)證。最后，安裝和配置Stocator，為了從SparkIBMCle