銀行數(shù)據(jù)中心從業(yè)人員對轉(zhuǎn)型分布式系統(tǒng)的困惑與對策

1、 時(shí)代拋棄你時(shí)不會(huì)打招呼！一位銀行數(shù)據(jù)中心多年從業(yè)人員對轉(zhuǎn)型分布式系統(tǒng)的困惑與對策 -崗位趨勢洞察 - 又是一冬雪飄下， 又是一季風(fēng)云幻過； 趨勢總在遙遠(yuǎn)的地方， 卻又總是好像隨春雷而至。2020的春天就要到了，twt社區(qū)邀請同行中冷靜睿智的觀察者，把他們各自感悟到的崗位趨勢告訴我們，讓每個(gè)社區(qū)同行都能知己知彼地迎接2020新的一年?！菊繌募惺郊軜?gòu)演變到分布式架構(gòu)，給銀行內(nèi)圍繞集中式架構(gòu)的相關(guān)崗位人群帶來了新的挑戰(zhàn)和職業(yè)風(fēng)險(xiǎn)。當(dāng)時(shí)代拋棄你的時(shí)候它都不會(huì)給你打招呼。作為一名銀行的數(shù)據(jù)中心從業(yè)人員，根據(jù)十幾年來經(jīng)歷IT架構(gòu)的情況，說說自己的感受?！咀髡摺?004年大學(xué)本科信息管理專業(yè)畢業(yè)后進(jìn)

2、入當(dāng)時(shí)一家新興的全國制股份銀行，從此開始IT運(yùn)維工作，從未換過部門科室，一路伴隨該銀行的不斷發(fā)展走到今日。經(jīng)歷了批量操作、基礎(chǔ)設(shè)施運(yùn)維、應(yīng)用系統(tǒng)維護(hù)、IT運(yùn)維及分支行籌建等多種崗位。尤其親身經(jīng)歷數(shù)據(jù)中心從無到有、從小到大的過程；從傳統(tǒng)的集中式、電子化到現(xiàn)在的分布式、智能化，從物理機(jī)到云時(shí)代的發(fā)展。一、綜述隨著云計(jì)算、大數(shù)據(jù)等數(shù)字技術(shù)的廣泛應(yīng)用，以及在移動(dòng)互聯(lián)網(wǎng)、互聯(lián)網(wǎng)金融、去IOE和自主可控等內(nèi)外環(huán)境和監(jiān)管政策的指引和驅(qū)動(dòng)下，中國金融的科技領(lǐng)域正發(fā)生著翻天覆地的變化。銀行、保險(xiǎn)、證券、信托等金融行業(yè)為了提高信息系統(tǒng)的靈活度、降低成本、安全可控等，紛紛采取分布式架構(gòu)和相關(guān)技術(shù)建設(shè)新系統(tǒng)或者重構(gòu)原

3、有系統(tǒng)。在企業(yè)信息化建設(shè)快速發(fā)展的今天，金融行業(yè)信息系統(tǒng)規(guī)模越來越大，復(fù)雜程度越來越高，IT 架構(gòu)技術(shù)支撐能力的重要性愈加凸顯。具備處理大規(guī)模高并發(fā)交易處理能力已成為銀行業(yè)務(wù)系統(tǒng)的標(biāo)配，當(dāng)前在互聯(lián)網(wǎng)業(yè)務(wù)蓬勃發(fā)展的大背景下，基于海量數(shù)據(jù)的處理與分析需求不斷增多，隨著銀行對IT成本的控制更加嚴(yán)格，對IT 架構(gòu)的選擇也更加謹(jǐn)慎。作為一名銀行的數(shù)據(jù)中心從業(yè)人員，根據(jù)十幾年來經(jīng)歷IT架構(gòu)的情況，說說自己的感受。經(jīng)歷了小機(jī)+存儲(chǔ)的典型物理架構(gòu)、從前置系統(tǒng)+核心系統(tǒng)的集中業(yè)務(wù)架構(gòu)，到現(xiàn)在的分布式、大數(shù)據(jù)、智能化的IT變化，銀行內(nèi)的信息架構(gòu)也隨著時(shí)代的改變在不斷的演化升級，已開始逐步從集中式架構(gòu)演變到分布式架

4、構(gòu)。這一演變，也給銀行內(nèi)圍繞集中式架構(gòu)的相關(guān)崗位人群帶來了新的挑戰(zhàn)和職業(yè)風(fēng)險(xiǎn)。當(dāng)然，這其中也存在著新的機(jī)會(huì)，因?yàn)樾碌募軜?gòu)，新的體系，也意味著需要更多符合要求的新人才。二、分布式系統(tǒng)產(chǎn)生的背景首先說說集中式架構(gòu)，這個(gè)架構(gòu)多用于傳統(tǒng)金融行業(yè)、運(yùn)營商等行業(yè)。主機(jī)資源集中在大型主機(jī)或小型機(jī)上。集中式架構(gòu)下，包括操作系統(tǒng)，中間件，數(shù)據(jù)庫等“基礎(chǔ)軟件” 均為閉源商用系統(tǒng)。集中式架構(gòu)的典型案例是 IOE（IBM， Oracle，EMC）提供的計(jì)算設(shè)備、數(shù)據(jù)庫技術(shù)和存儲(chǔ)設(shè)備共同組成的系統(tǒng)，各方面的技術(shù)支持相對穩(wěn)定、安全，用戶自身的技術(shù)儲(chǔ)備也相對充分。隨著社會(huì)信息化的快速發(fā)展，金融服務(wù)呈現(xiàn)出海量用戶增加，而且需

5、要響應(yīng)“個(gè)性產(chǎn)品定制”、“實(shí)時(shí)風(fēng)控決策”、“快速敏捷響應(yīng)”等新特征，這對銀行信息系統(tǒng)架構(gòu)提出了更高的要求。下面從系統(tǒng)容量、成本、適應(yīng)性、可用性、云化、自主可控等幾個(gè)方面來說說分布式系統(tǒng)優(yōu)勢，在一些場景中，傳統(tǒng)的集中式架構(gòu)可能無法滿足未來科技金融銀行發(fā)展的要求。1、系統(tǒng)容量。隨著我國對金融服務(wù)的需求越來越高，系統(tǒng)業(yè)務(wù)量越來越大，依靠傳統(tǒng)集中式架構(gòu)下有限數(shù)量的服務(wù)器，其性能已經(jīng)接近瓶頸，我們需要更多的服務(wù)器才能應(yīng)對大規(guī)模的應(yīng)用場景。所以，我們需要垂直或是水平拆分業(yè)務(wù)系統(tǒng)，讓其變成一個(gè)分布式的架構(gòu)。2、成本控制。在銀行業(yè)輝煌的10余年間，利潤飛速增長，給銀行的信息化建設(shè)過程帶來了前所未有的發(fā)展。在這

6、段時(shí)間內(nèi)，各大型商業(yè)銀行都建立起了以主機(jī)為核心的集中式架構(gòu)，并完成了數(shù)據(jù)大集中和配套周邊系統(tǒng)的大規(guī)模建設(shè)。然而近年來由于互聯(lián)網(wǎng)金融的沖擊，利率市場化等內(nèi)外因素，利潤增長乏力。成本控制已經(jīng)成為我們面臨的一大挑戰(zhàn)。分布式架構(gòu)不再依賴專用設(shè)備和軟件，可以大幅降低基礎(chǔ)設(shè)施的投入成本。3、適應(yīng)性更強(qiáng)。分布式架構(gòu)強(qiáng)調(diào)服務(wù)化的設(shè)計(jì)理念，一般是通過組件化和微服務(wù)來解耦應(yīng)用間的設(shè)計(jì)依賴。通過服務(wù)將應(yīng)用間的數(shù)據(jù)依賴重新組織后，系統(tǒng)的靈活性得到增強(qiáng)，數(shù)據(jù)變動(dòng)的影響也可以被限制在一定的范圍，而且服務(wù)本身更貼近業(yè)務(wù)場景，可驗(yàn)證性更強(qiáng)。這樣的應(yīng)用一定對未來的業(yè)務(wù)發(fā)展有更強(qiáng)的適應(yīng)性。4、加強(qiáng)系統(tǒng)可用。銀行的系統(tǒng)基本都已經(jīng)要

7、做到365*24的不間斷運(yùn)行，我們的業(yè)務(wù)系統(tǒng)也越來越關(guān)鍵，系統(tǒng)架構(gòu)的可用性面臨巨大挑戰(zhàn)。這就意味著架構(gòu)中不能存在單點(diǎn)故障。分布式架構(gòu)首先通過拆分，來降低每一部分的影響范圍，然后利用冗余提供更多的容錯(cuò)能力，最后還可以通過故障隔離、服務(wù)降級等手段進(jìn)一步確保系統(tǒng)的可用性。5、更符合云的要求。云的核心特征就是彈性，而傳統(tǒng)的集中式架構(gòu)，依賴昂貴的專用設(shè)備和企業(yè)軟件，無法很好的適應(yīng)云端部署的要求。分布式架構(gòu)更加輕量化，更加靈活，自然更適合云端的部署和運(yùn)行。6、自主可控的要求。信息安全、技術(shù)自主可控已成為國家戰(zhàn)略，必須盡快打破技術(shù)受制于人的局面。而傳統(tǒng)集中式建設(shè)模式，缺乏自主掌控，高度依賴供應(yīng)商支持，加重了

8、科技研發(fā)壓力，加大了生產(chǎn)運(yùn)行風(fēng)險(xiǎn)，無法快速響應(yīng)市場變化，限制了業(yè)務(wù)模式創(chuàng)新。分布式架構(gòu)大多基于開源技術(shù)，自主化程度高，采用橫向擴(kuò)展模式，可實(shí)現(xiàn)業(yè)務(wù)的快速上線。三、架構(gòu)轉(zhuǎn)型對銀行的意義1. 分布式系統(tǒng)架構(gòu)是技術(shù)發(fā)展的趨勢隨著互聯(lián)網(wǎng)和云計(jì)算服務(wù)的快速發(fā)展，作為其主要技術(shù)的分布式計(jì)算、存儲(chǔ)和應(yīng)用技術(shù)正在成為當(dāng)今信息科技的主流。分布式系統(tǒng)架構(gòu)不僅具有可擴(kuò)展性強(qiáng)、處理效率高、容錯(cuò)能力強(qiáng)等特點(diǎn)，更為重要的是，它還是大數(shù)據(jù)、機(jī)器學(xué)習(xí)、人工智能、區(qū)塊鏈的支撐技術(shù)。目前，國內(nèi)外金融機(jī)構(gòu)都在積極、審慎地開展私有云建設(shè)，研究并嘗試開源、分布式技術(shù)和應(yīng)用。2. 架構(gòu)轉(zhuǎn)型是銀行生存和發(fā)展的迫切要求第一，生態(tài)化、場景化的

9、金融服務(wù)，以及數(shù)字化、智能化等技術(shù)，已經(jīng)對銀行的支付、征信、風(fēng)險(xiǎn)技術(shù)、理財(cái)、客戶獲取等核心領(lǐng)域產(chǎn)生極大沖擊，互聯(lián)網(wǎng)技術(shù)創(chuàng)造了平臺(tái)經(jīng)濟(jì)、共享經(jīng)濟(jì)，也推動(dòng)著金融服務(wù)模式的創(chuàng)新，銀行不加快技術(shù)轉(zhuǎn)型就會(huì)被未來淘汰。第二，以開放、合作、分享的理念和態(tài)度參與到互聯(lián)網(wǎng)金融生態(tài)中必須要有開放的技術(shù)體系和架構(gòu)與合作者聯(lián)接和交換，現(xiàn)有的閉源架構(gòu)在一定程度上限制了銀行業(yè)務(wù)的合作范圍、擴(kuò)展性和效率。第三，開源、開放的分布式技術(shù)成本更低、效率更高、用戶體驗(yàn)更好、開發(fā)和測試方法更為敏捷。3. 架構(gòu)轉(zhuǎn)型是適應(yīng)我國金融業(yè)安全可控趨勢的迫切要求以X86、開源為特征的技術(shù)體系，有利于我國信息產(chǎn)業(yè)企業(yè)和銀行業(yè)掌握技術(shù)，從而改變我國

10、銀行業(yè)長期以來基礎(chǔ)軟硬件等核心技術(shù)完全依賴國外廠商的狀況，適應(yīng)國家網(wǎng)絡(luò)空間安全戰(zhàn)略要求。四、銀行人員的對轉(zhuǎn)型分布式系統(tǒng)的困惑和解決思路盡管分布式系統(tǒng)架構(gòu)成為趨勢，但是銀行業(yè)要實(shí)施架構(gòu)轉(zhuǎn)型，在思想觀念重塑、團(tuán)隊(duì)能力建設(shè)、技術(shù)難點(diǎn)攻關(guān)等方面尚存在巨大挑戰(zhàn)和困難，必須采取強(qiáng)有力的措施攻堅(jiān)克難。1、困惑一：思想觀念轉(zhuǎn)型難度大長期以來，銀行信息科技團(tuán)隊(duì)將確?？蛻艉豌y行的資金安全作為恪守鐵律。使用最成熟、穩(wěn)定的技術(shù)，保證系統(tǒng)交易的實(shí)時(shí)一致性，是銀行信息技術(shù)部門的基本工作原則。因此，銀行架構(gòu)無一例外地選擇使用以IOE為代表的成熟、穩(wěn)定、具備良好技術(shù)支持保障體系的“經(jīng)典”商用軟件和體系架構(gòu)，并培養(yǎng)了大批熟悉應(yīng)

11、用相關(guān)技術(shù)的優(yōu)秀技術(shù)人員。分布式架構(gòu)與傳統(tǒng)架構(gòu)相比，在架構(gòu)、設(shè)計(jì)、開發(fā)、運(yùn)維、管理上需要有不同的思維和技術(shù)能力，這對我行現(xiàn)有技術(shù)團(tuán)隊(duì)的思想觀念和思維模式造成巨大沖擊，需要有一個(gè)“脫胎換骨”的轉(zhuǎn)變過程。對策：一是虛心向掌握新技術(shù)的互聯(lián)網(wǎng)公司學(xué)習(xí)，開展技術(shù)交流與合作。二是建立云計(jì)算、金融IT產(chǎn)品創(chuàng)新實(shí)驗(yàn)室專職研發(fā)團(tuán)隊(duì)，通過小團(tuán)隊(duì)的研究、創(chuàng)新、試點(diǎn)和培訓(xùn)，以點(diǎn)帶面。三是應(yīng)用新技術(shù)解決業(yè)務(wù)痛點(diǎn)，讓技術(shù)團(tuán)隊(duì)和業(yè)務(wù)部門真切感受到新技術(shù)的好處，理解和支持技術(shù)轉(zhuǎn)型。第四，也是最為重要的一點(diǎn)，高管層高度重視和支持架構(gòu)轉(zhuǎn)型工作，給信息技術(shù)部門留出一定的轉(zhuǎn)型時(shí)間、資金，以及試點(diǎn)和試錯(cuò)空間。2、困惑二：缺乏掌握新技術(shù)

12、的人才開源技術(shù)同樣需要技術(shù)支持，但是與傳統(tǒng)技術(shù)發(fā)展路徑不同，云計(jì)算技術(shù)專家大多集中在互聯(lián)網(wǎng)公司。由于開源技術(shù)的變化很快，研究這些技術(shù)的大多為創(chuàng)新型公司，一般規(guī)模小、不穩(wěn)定，難以提供持續(xù)、穩(wěn)定的技術(shù)支持，并且缺乏對銀行應(yīng)用特點(diǎn)的理解和實(shí)踐經(jīng)驗(yàn)。銀行必須培養(yǎng)和擁有一批既掌握新技術(shù)又有豐富銀行應(yīng)用經(jīng)驗(yàn)的技術(shù)人才，而銀行現(xiàn)有的招聘、薪酬和激勵(lì)機(jī)制，不足以吸引此類緊缺人才。對策：一是高度重視并積極嘗試建立吸引和留住信息科技人才的機(jī)制，建立信息科技專業(yè)技術(shù)崗位序列，讓專家型技術(shù)人員有良好的發(fā)展空間。二是通過制定轉(zhuǎn)型目標(biāo)、針對性的培訓(xùn)、項(xiàng)目實(shí)踐、評估階段效果等措施，有計(jì)劃、有步驟地循序漸進(jìn)，目前已取得了一定

13、成效。三是積極開展與國內(nèi)有實(shí)力供應(yīng)商的合作，改變單純的甲乙方關(guān)系，聯(lián)合開展技術(shù)難點(diǎn)的研發(fā)和攻關(guān)，共同培育市場化的服務(wù)支持環(huán)境。3、困惑三：數(shù)據(jù)持久化層的技術(shù)難點(diǎn)在銀行IT架構(gòu)向分布式架構(gòu)轉(zhuǎn)型過程中，最大的技術(shù)難點(diǎn)在于“數(shù)據(jù)持久化層”的分布式。相比之下，應(yīng)用邏輯層和接入層的分布式架構(gòu)已經(jīng)很成熟，在銀行內(nèi)已經(jīng)得到廣泛應(yīng)用。之所以說是難點(diǎn)，是因?yàn)閿?shù)據(jù)是有狀態(tài)的，特別是銀行核心系統(tǒng)保留的賬務(wù)數(shù)據(jù)，在交易過程中會(huì)被不停地更改，這部分?jǐn)?shù)據(jù)一旦被分布到多處存儲(chǔ)，就會(huì)造成更改信息的不一致、更改信息不可見、讀取信息不準(zhǔn)確等一系列問題，也就是技術(shù)上經(jīng)常說的分布式事務(wù)下數(shù)據(jù)一致性、隔離性、原子性和持久性的問題。對策

14、：為解決上述技術(shù)難題，在分布式數(shù)據(jù)庫中研發(fā)了“全局事務(wù)管理器”和“分布式隔離級別”。前者很好地解決了分布式事務(wù)一致性和隔離性問題，但仍然沒有突破CAP理論（又稱CAP原則，指的是在一個(gè)分布式系統(tǒng)中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分區(qū)容錯(cuò)性），最多只能同時(shí)三個(gè)特性中的兩個(gè)，三者不可兼得），處理性能會(huì)受到影響，分區(qū)容錯(cuò)性也就成為了一個(gè)分布式系統(tǒng)必然要面對的問題。為解決性能問題，又研發(fā)了“分布式RR”和“分布式CR”兩個(gè)隔離級別，對明確不會(huì)產(chǎn)生分布式事務(wù)、不受分布式事務(wù)影響的請求，可以指定“分布式CR”隔離級別，從而確保分布式數(shù)據(jù)庫的整體處理性能。五、小結(jié)銀行業(yè)是信息化程度較高的行業(yè)，信息化隊(duì)伍及知識(shí)儲(chǔ)備相對充分和快速，在短短十幾年，各銀行業(yè)金融機(jī)構(gòu)在分布式架構(gòu)領(lǐng)域已有很多收獲。但總體而言，銀行對于分布式架構(gòu)的應(yīng)用仍