中航信大數(shù)據(jù)思考與實踐

1、中航信人數(shù)據(jù)思考與實踐【賽迪網(wǎng)訊】我來自中國民航信息集團公司（以下簡稱中國航信）。中國航信的前身創(chuàng)建于80年代，30年來，一直為中國民航業(yè)提供信息化服務。 中國航信 正式組建于2002年10月，屬國資委管理的中央企業(yè)，現(xiàn)有員工近 4000人，總部 在北京。2000年10月，中國民航計算機信息中心聯(lián)合當時所有國內(nèi)航空公司發(fā)起成立中國民航信息網(wǎng)絡股份有限公司，于2001年2月在香港聯(lián)交所主板掛牌上市交易。2008年7月，中國民航信息集團公司以中國民航信息網(wǎng)絡股份有限公司為 主體，完成主營業(yè)務和資產(chǎn)重組并在香港成功整體上市。目前，中國航信是航空旅游行業(yè)領先的信息技術及商務服務提供商，主要業(yè)務是航空客

2、運業(yè)務處理、航空旅游電子分銷、機場旅客處理、航空貨運數(shù)據(jù)處理、 航空財務結算清算、IT外包服務、互聯(lián)網(wǎng)旅游分銷平臺。包括淘寶、攜程、藝龍 在內(nèi)，它們銷售客票的原始數(shù)據(jù)都由中國航信提供。航信的電子客票服務，可以 讓乘客方便地通過網(wǎng)絡購買機票、網(wǎng)上值機，拿著第二代身份證就可以登機。我曾經(jīng)看到過這樣一個報道：美國某機場通過視頻監(jiān)控發(fā)現(xiàn)一個旅客把前面旅客的勞力士手表給偷了。隨著服務細化以及航信客戶-航空公司的要求越來越高、越來越細，中國航信也會逐步將圖像、聲音、視頻加入到數(shù)據(jù)庫當中，增加 數(shù)據(jù)庫的多樣性。目前，航信只是把圖片放到了數(shù)據(jù)庫中，視頻還沒有放到其中。中國航信目前運行著超過 2000臺硬件設備

3、，每秒鐘事務處理能力是11000TNX/S,每天為100萬旅客提供訂票離港服務，每天交易量10億元。中航信目前存儲的數(shù)據(jù)大部分為結構化數(shù)據(jù)，擁有超過2PB的存儲系統(tǒng)，每年結構化數(shù)據(jù)增長量為35%中國航信擁有3個正在運行的數(shù)據(jù)中心，還有兩個在建數(shù)據(jù)中心，分別是在順義的30000平米數(shù)據(jù)中心以及浙江在嘉興的15000平米數(shù)據(jù)中心。未來，會根據(jù)客戶需求以及市場驅(qū)動等因素，來決定在結構化或非結構化數(shù)據(jù)的投 資。目前，中航信最緊迫是要滿足航空公司的實時票價計算需求。實時票價，就 是航空公司能夠在在某一時刻，根據(jù)歷史數(shù)據(jù)、當下的需求，來自動決定機票售 價，既可以讓航空公司的利潤最高，又能夠讓消費者能夠接受

4、。這個動態(tài)票價點 需要在幾秒內(nèi)計算出來，需要結構化大數(shù)據(jù)、并行計算等技術來進行支撐。中航 信現(xiàn)采用的傳統(tǒng)teradata關系數(shù)據(jù)庫，不能支持實時計算。航信成立之后的前20年，中國航信都是采用傳統(tǒng)的主機系統(tǒng)，設備都是舊M的UNIX。目前，中國航信正在從傳統(tǒng)的主機模式向開放平臺進行轉(zhuǎn)移，目前，酒 店業(yè)務、貨運業(yè)務、電子客票、機場離崗等等都在逐步地向開放平臺進行遷移。在開放平臺上，中國航信主要應用是的Oracle或者MySQL數(shù)據(jù)架構之間相互比較獨立、煙囪式的，每個系統(tǒng)之間數(shù)據(jù)沒有物理上的聯(lián)系。而邏輯上的些微 聯(lián)系也是根據(jù)業(yè)務需求，進行的數(shù)據(jù)交換。這些數(shù)據(jù)在物理上是統(tǒng)一存儲，我們 在3年前實現(xiàn)了在開

5、放平臺上的虛擬化存儲技術，把所有的磁盤、所有的應用系 統(tǒng)、主機都集成到我們的虛擬化云平臺上，可以根據(jù)需要在幾分鐘內(nèi)就部署一套 系統(tǒng)，這在兩年前就完全實現(xiàn)了。中國航信在2002年投資一億部署Teradata的數(shù)據(jù)倉庫。這是一個關系型數(shù) 據(jù)庫，它能存儲大量數(shù)據(jù)，但缺點是反應速度慢，沒法實時地為航空公司提供服 務，不能在規(guī)定時間內(nèi)計算出票價，這個需求對于航空公司、客票代理、購票人都是非常有用的。過長的等待時間會讓該功能失去功用了，因此 Teradata系統(tǒng)不 能用于實時的計算，都是按天為單位來運算的。在 2000年時，覺得Teradata的 存儲容量很大，可以存儲 12年的數(shù)據(jù)，但我們現(xiàn)在存儲半年數(shù)

6、據(jù)就滿了，且管 理成本、運維成本、擴容成本都是千萬級的，也非常昂貴。根據(jù)預測，2020年的中國航空旅客運輸量將達到 7.7億人次左右，年復合增 長率為12.27%,并將成為全球第一的航空旅行大國。航空客運銷售代理市場的規(guī) 模將達到360億元左右，成長空間巨大。可以預見，支撐這一巨大規(guī)模的IT系統(tǒng)也將是及其復雜的。止匕外，中航信今天還面臨數(shù)據(jù)多樣性的挑戰(zhàn)。數(shù)據(jù)多樣性，這更多是由客戶 驅(qū)動，如航空公司、客票代理、旅客對價格的理解，對服務需求的理解，對服務 要求的提高，會促使中航信決定是不是、何時應用大數(shù)據(jù)，是結構化的還是非機 構化的。比如中航信現(xiàn)有數(shù)據(jù)庫支持圖片，那就可以支持在乘客離崗時候照一張

7、照片，在登機口利用照片核對是否同一人，符合之后才可以登機。但這里面的數(shù) 據(jù)保密問題，對航空公司、信息服務提供商、乘客都是一個很大挑戰(zhàn)。在2011年，中航信就開始研究大數(shù)據(jù)，是以事件交易服務為中心，主要面向旅客、面向航空公司來做大數(shù)據(jù)的服務。 并在2011年底對國內(nèi)航空公司做了調(diào)研。 航空公司要求航信能夠提供實時機票定價服務，根據(jù)市場需求，根據(jù)航線情況， 能夠給出旅客能夠接受的最高價格，比如京滬航線，什么時候全價、什么時候能 夠打八折、八五折、七折，或者更低的折扣，這就要求航信提供很快的服務，能 夠根據(jù)當時的市場需求、以及前幾年的歷史數(shù)據(jù)，以及飛機時刻，來計算出能夠 航空公司所能賣出的最高價格，

8、同時也能提高艙位的利用率。同時，也要監(jiān)測競爭對手是不是有低價，如果競爭對手給出低價，航空公司也要立即跟進。這都需 要實時數(shù)據(jù)來支撐。目前，中國航信在 EMC勺Greenplum上進行了大數(shù)據(jù)部署，這是基于事務性 的、云計算部署，它解決了結構化數(shù)據(jù)并行計算問題，能夠快速計算、迅速反應， 但在圖像存儲上還有待完善。未來，航信最終會做hadoop,會采用全開源的NoSQL+X86勺硬件平臺，利用 mapreduce、bigtable、GFS等類似的技術。特別是對于證券業(yè)、民航業(yè)、銀行業(yè)等結構化數(shù)據(jù)較多的企業(yè)來說， Greenplum 是適用的，因為他的結構化數(shù)據(jù)+并行處理能力強大。而對于擁有大量圖像

9、、聲音、 視頻的非機構化數(shù)據(jù)，hadoop更加適用。對企業(yè)來說，任何技術都有好處和缺陷，關鍵要看企業(yè)客戶需求是什么，客 戶要拿來做什么。就好比：不可能開著飛機大炮去打獵，得拿著獵槍。因此，服 務提供商選擇什么樣的技術是基于客戶的需求，要選對工具和技術去支撐應用， 這是最關鍵的一點，看不到這點，會走冤枉路，花冤枉錢。中航信目前在做一個shopping ,把中航信的酒店、機票還有價格放到平臺上 面，底層用的是mysql,上層是一些Nosql的數(shù)據(jù)庫，這樣能夠快速響應。因為統(tǒng) 計發(fā)現(xiàn)，大概每900-1000個的訪問者中只有一人進行了購買，大部分人是瀏覽。 為了應對這種情況，中航信采用了低成本的mys

10、ql,上面放一個高速緩存的nosql數(shù)據(jù)庫，上面再架設一個網(wǎng)站的方式來為客戶提供服務。民航主要用的是微軟數(shù)據(jù)庫架構，正逐步走向mapreduce、NoSQL逐步走向開源系統(tǒng)、開放架構。由于中國航信研發(fā)人員比較多，能夠較好地對開源內(nèi)容進 行編制和再創(chuàng)新，但最終還是航空公司和旅客的需求應用來驅(qū)動中國航信的架構。比如未來旅客訂票需要圖像，又如我們提供的預定酒店服務，可以在網(wǎng)上展 示酒店客房的實際情況，甚至可以模仿消費者在房間里面走，而出現(xiàn)的視覺變化， 房間的布局、顏色。以及窗外的景色，這就需要大數(shù)據(jù)的支持，必須是非結構化 大數(shù)據(jù)來支持，傳統(tǒng)的結構化數(shù)據(jù)是無法支持的。客戶愿意花錢購買這個服務， 或者競

11、爭讓這個服務以更低的成本得以實現(xiàn)。比如訂酒店，你可以看到周圍環(huán)境 的布局以及酒店房間里面的情況，這樣消費者可以更快地決定是否購買。如果其 他商家做不到，那就有獨特的競爭優(yōu)勢。對商家來說，是否能夠負擔這個成本， 所有東西都取決于客戶的需求以及成本的匹配。在數(shù)據(jù)中心“大數(shù)據(jù)平臺”發(fā)展路線上，中國航信規(guī)劃了四個方面。第一是 基礎的IDC建設，目前建設了兩個全新的數(shù)據(jù)中心；第二個是云存儲、云主機、 云計算；第三個是開放的云應用，第四是把這些技術應用到web上，如網(wǎng)上值機、根據(jù)座位圖來選擇座位，未來航信可以提供立體飛機倉位示意圖，讓乘客可以更 直觀地判斷位置的舒適程度等，只要航空公司需要，就可以很快開發(fā)出這些服務。除了為民航提供服務之外，中國航信還對其他企事業(yè)單位開放，提供包括信 息服務，外