企業(yè)數(shù)據(jù)架構(gòu)規(guī)劃

1、 架構(gòu)的演變架構(gòu)演變一定是根據(jù)當(dāng)時(shí)要求的場(chǎng)景、壓力下性能的需要、安全性、連續(xù)性的要求、技術(shù)的發(fā)展我把架構(gòu)的發(fā)展分為大概4個(gè)階段：1. 單機(jī)模式IT建設(shè)初期，高速建設(shè)階段，大家要做的只有一件事，我需要什么構(gòu)建什么，我需要ERP我買(mǎi)軟件，需要HIS買(mǎi)HIS，這個(gè)時(shí)期按需構(gòu)建大量的系統(tǒng)基本在這個(gè)時(shí)期產(chǎn)生，當(dāng)然那個(gè)時(shí)候也沒(méi)什么高可用的要求。2. 雙機(jī)熱備和鏡像基本是20年前的技術(shù)了，在高速構(gòu)建后，一堆的系統(tǒng)運(yùn)行中，用戶發(fā)現(xiàn)我們的核心業(yè)務(wù)如果壞掉業(yè)務(wù)受影響，停機(jī)幾個(gè)小時(shí)做恢復(fù) 這是無(wú)法接受的，那么雙機(jī)熱備或鏡像，Active-Standby的模式出現(xiàn)，這樣一臺(tái)機(jī)器工作，一臺(tái)備用壞了在短時(shí)間可以接管業(yè)務(wù)，

2、造成的損失會(huì)低很多！那么問(wèn)題也很明顯，備機(jī)資源浪費(fèi)，依賴(lài)存儲(chǔ)，數(shù)據(jù)還是單點(diǎn)，成本較高。產(chǎn)品也很多：RoseHA/RoseMirrorHA、NEC ExpressCluster、微軟MSCS、Symantec VCS、Legato、RHCS 太多太多了。隨后為了解決數(shù)據(jù)單點(diǎn)的問(wèn)題有出現(xiàn)了 存儲(chǔ)的主備，存儲(chǔ)的雙活這廠商也太多了，這里就不介紹了。基本上傳統(tǒng)企業(yè)依然停留在第一和第二階段，也就是要么單機(jī)，要么雙機(jī)熱備3.節(jié)點(diǎn)多活 隨著業(yè)務(wù)量越來(lái)越大，數(shù)據(jù)量不斷飚升，系統(tǒng)高效性的矛盾顯現(xiàn)出來(lái)，系統(tǒng)卡慢、報(bào)表、接口業(yè)務(wù)無(wú)法分離OLAP OLTP業(yè)務(wù)混合導(dǎo)致系統(tǒng)鎖情況嚴(yán)重，資源消耗極其龐大，光靠升級(jí)硬件已經(jīng)無(wú)

3、法滿足要求，橫向擴(kuò)展已經(jīng)成為大勢(shì)所趨。同時(shí)切換時(shí)間、備機(jī)無(wú)法啟動(dòng)的問(wèn)題也困擾著用戶。那么節(jié)點(diǎn)多活，多臺(tái)機(jī)器同時(shí)對(duì)外提供訪問(wèn)的技術(shù)登上舞臺(tái)，代表的ORACLE RAC、微軟ALWAYSON 、MOEBIUS集群多活的兩種模式也是從第二帶架構(gòu)的演變oracle rac 把雙機(jī)熱備的輔助節(jié)點(diǎn)變的可以訪問(wèn)，關(guān)鍵點(diǎn)數(shù)據(jù)在多節(jié)點(diǎn)內(nèi)存中的調(diào)配Microsoft awo、Moebius 則是把鏡像的輔助節(jié)點(diǎn)變的可以訪問(wèn)，關(guān)鍵點(diǎn)數(shù)據(jù)多節(jié)點(diǎn)同步這樣橫向擴(kuò)展來(lái)分擔(dān)壓力，并且可以在業(yè)務(wù)上進(jìn)行分離。4.分布式架構(gòu) 分布式架構(gòu)真的不知道從何說(shuō)起，概念太大，每個(gè)人理解的都不一樣，只能意會(huì)不能言傳：比如說(shuō)一份數(shù)據(jù)分開(kāi)存成多份

4、比如說(shuō)拆分，水平拆分、垂直拆分、分庫(kù)、分表、分業(yè)務(wù)比如說(shuō)其實(shí)說(shuō)到底就是在第三代橫向擴(kuò)展也無(wú)法滿足的情況下，繼續(xù)“拆”，根據(jù)不同需求各種“拆”，拆到什么樣呢？ 大家都知道可以說(shuō)最慢的環(huán)節(jié)在數(shù)據(jù)庫(kù)，傳統(tǒng)的做法復(fù)雜語(yǔ)句，大存儲(chǔ)過(guò)程運(yùn)行非常慢，那我們就把這些拆到表數(shù)據(jù)量足夠小、語(yǔ)句足夠簡(jiǎn)單、業(yè)務(wù)粒度小、訪問(wèn)壓力盡量的小！這樣細(xì)化的設(shè)計(jì)一切為業(yè)務(wù)服務(wù)，也是精細(xì)化設(shè)計(jì)產(chǎn)物，但這也存在一個(gè)問(wèn)題，傳統(tǒng)企業(yè)在缺少高端人才，人力的情況下根本無(wú)法做到?，F(xiàn)在的互聯(lián)網(wǎng)公司為業(yè)務(wù)的需要同時(shí)對(duì)IT團(tuán)隊(duì)的大力建設(shè)，這是傳統(tǒng)企業(yè)根本無(wú)法達(dá)到的。當(dāng)然如果有第五代那也許可以說(shuō)是云，未來(lái)業(yè)務(wù)一切的技術(shù)都是云端，云端看不見(jiàn)摸不到，傳統(tǒng)

5、行業(yè)人回歸業(yè)務(wù)，而IT 建設(shè)與管理也必然由專(zhuān)業(yè)的人做專(zhuān)業(yè)的事兒。個(gè)人總結(jié)的架構(gòu)演變，主架構(gòu)演變不包含其他輔助技術(shù)，僅供參考其他技術(shù)漫談在這四代架構(gòu)之間也有很多技術(shù)出現(xiàn)，主要以數(shù)據(jù)復(fù)制、存儲(chǔ)同步為代表，如DG、OGG、LOGSHIPPING、Replication等等，這些都是不同場(chǎng)景下的數(shù)據(jù)復(fù)制，讓一個(gè)副本變成多個(gè)，基本目的在于副本讀或者本/異災(zāi)備，而這些技術(shù)也在不同的場(chǎng)景中扮演這重要的角色，每種技術(shù)都有自己的優(yōu)缺點(diǎn)，不能一概而論。當(dāng)然這里面還包含現(xiàn)在所謂的虛擬化、超融合、存儲(chǔ)雙活，這些技術(shù)首先不是數(shù)據(jù)庫(kù)本身技術(shù)，在很多企業(yè)所謂數(shù)據(jù)庫(kù)的高可用中扮演著擦邊球的角色，虛擬化、超融合、存儲(chǔ)雙活都有自

6、己適用的場(chǎng)景，而說(shuō)到數(shù)據(jù)庫(kù)的架構(gòu)，這些方案只是基礎(chǔ)架構(gòu)層面。如何選架構(gòu)選架構(gòu)首先你該選的是幾代架構(gòu)？四代架構(gòu)是按照業(yè)務(wù)不斷細(xì)分，以冗余 和 拆分、細(xì)化為主線大體過(guò)程二代冗余三代粗拆分四代細(xì)拆分當(dāng)然這是只是大概的意思，實(shí)際中拆分的場(chǎng)景，條件，擴(kuò)展性一系列復(fù)雜的過(guò)程。我曾經(jīng)無(wú)數(shù)次遇到幾十G的庫(kù) 幾百并發(fā)的應(yīng)用就要規(guī)劃分片，領(lǐng)導(dǎo)最求高大上，底下技術(shù)人員叫苦。構(gòu)建構(gòu)建中主要是對(duì)建構(gòu)的細(xì)節(jié)了解和熟練，這和企業(yè)的人員配置有很大的關(guān)系，傳統(tǒng)企業(yè)中很多在架構(gòu)方案中選擇第三方產(chǎn)品？這是為什么，構(gòu)建需要專(zhuān)業(yè)的人，而企業(yè)最少的就是這部分人，而維護(hù)管理，責(zé)任劃分也是不得不考慮的事情。當(dāng)然架構(gòu)越復(fù)雜投入的經(jīng)歷也就越大，

7、這也不是一個(gè)架構(gòu)師可以主導(dǎo)的事情。維護(hù)維護(hù)才是關(guān)鍵，業(yè)務(wù)變動(dòng)后的靈活性、壓力下的擴(kuò)展性、出問(wèn)題的排查、技術(shù)力量的支持，一系列漫長(zhǎng)的過(guò)程開(kāi)始了題外篇自己在傳統(tǒng)行業(yè)玩的太久了，寫(xiě)這片文章的過(guò)程中也和PingCAP 聯(lián)合創(chuàng)始人& CTO 黃東旭，聊了一些未來(lái)技術(shù)的發(fā)展，tidb做的風(fēng)聲水起，對(duì)未來(lái)數(shù)據(jù)庫(kù)大家都是未知，但隨著技術(shù)的不斷涌現(xiàn)更牛的架構(gòu)，更牛的理念也必將一一實(shí)現(xiàn)。比如依靠智能化的機(jī)制集群自我修復(fù)，性能自提升，架構(gòu)自適應(yīng)等等總結(jié)架構(gòu)方案是幾代不重要，重要的是適合自己的業(yè)務(wù)，保證穩(wěn)定、安全、高效、持續(xù)，單機(jī)適合簡(jiǎn)單業(yè)務(wù)，沒(méi)有那么高的安全性、連續(xù)性依然可以，雙機(jī)熱備可以保障基本的高可用，節(jié)點(diǎn)多活的集群適合業(yè)務(wù)壓力較大簡(jiǎn)單粗暴的分離和壓力分擔(dān)，至于分布式如果企業(yè)有能力有資源，業(yè)務(wù)壓力龐大自然會(huì)考慮，