HANA建模課程-第一講HANA架構(gòu)簡(jiǎn)介

課程1

HANA架構(gòu)簡(jiǎn)介實(shí)戰(zhàn)講解內(nèi)容：

1）HANA基本概念以及架構(gòu)：

列存儲(chǔ)，行存儲(chǔ)，內(nèi)存計(jì)算,持久層，log層的概念,HANAinstance的概念，系統(tǒng)表，定義，行表，列表2)HANA引擎概述3）HANA安裝和卸載、Admin，Operator基本操作4)HANAStudio安裝和卸載，客戶端工具的安裝實(shí)戰(zhàn)目標(biāo)：

1)熟悉HANA體系結(jié)構(gòu)和HANA開(kāi)發(fā)工具第一講HANA架構(gòu)簡(jiǎn)介By熊貓23硬件與數(shù)據(jù)庫(kù)系統(tǒng)CoreCPU今天的性能瓶頸：

處理器緩存和內(nèi)存數(shù)據(jù)傳輸過(guò)去的性能瓶頸：磁盤(pán)輸入、輸出DiskCPUCacheMainMemory現(xiàn)代化硬件上的理想數(shù)據(jù)庫(kù)系統(tǒng)：內(nèi)存式數(shù)據(jù)庫(kù)，減少I(mǎi)/O緩存優(yōu)化的內(nèi)存結(jié)構(gòu)，連續(xù)訪問(wèn)數(shù)據(jù)臨近存儲(chǔ)支持并行執(zhí)行，利用多處理器的優(yōu)勢(shì)現(xiàn)代化硬件上的理想數(shù)據(jù)庫(kù)系統(tǒng)：內(nèi)存式數(shù)據(jù)庫(kù)，減少I(mǎi)/O緩存優(yōu)化的內(nèi)存結(jié)構(gòu)，連續(xù)訪問(wèn)數(shù)據(jù)臨近存儲(chǔ)支持并行執(zhí)行，利用多處理器的優(yōu)勢(shì)未來(lái)優(yōu)化方向4應(yīng)用層數(shù)據(jù)層當(dāng)前應(yīng)用層包攬了許多的數(shù)據(jù)計(jì)算工作在數(shù)據(jù)層的內(nèi)存式計(jì)算，將計(jì)算下推到底層，提升性能內(nèi)存式計(jì)算：減少詳細(xì)數(shù)據(jù)的遷移，先計(jì)算，后傳輸結(jié)果行業(yè)現(xiàn)狀企業(yè)資源計(jì)劃系統(tǒng)(ERP)需要處理混合工作量OLAP：創(chuàng)建銷(xiāo)售訂單、進(jìn)貨出貨憑證、發(fā)票等寫(xiě)優(yōu)化OLTP：運(yùn)營(yíng)月度報(bào)告、可承諾量、庫(kù)存量分析等讀優(yōu)化OLAP+OLTP系統(tǒng)因性能的顧慮而分離

不便：OLAP數(shù)據(jù)并非最新數(shù)據(jù)，只是數(shù)據(jù)預(yù)先處理后的子集需要ETL工具來(lái)同步兩個(gè)系統(tǒng)，系統(tǒng)冗余，程序復(fù)雜開(kāi)發(fā)愿景

使用現(xiàn)代硬件和數(shù)據(jù)庫(kù)系統(tǒng)將OLTP與OLAP數(shù)據(jù)結(jié)合在一起，創(chuàng)建一個(gè)單一數(shù)據(jù)源，實(shí)現(xiàn)實(shí)時(shí)分析，并簡(jiǎn)化應(yīng)用程序和數(shù)據(jù)庫(kù)結(jié)構(gòu)56SAPHANA應(yīng)用架構(gòu)HANA平臺(tái)統(tǒng)一數(shù)據(jù)源HANADataservice、SLT等數(shù)據(jù)抽取工具前端Excel、BOBJ展示工具將數(shù)據(jù)集市HANA中的數(shù)據(jù)展示7常見(jiàn)問(wèn)題SAPHANA是一個(gè)數(shù)據(jù)庫(kù)，硬件還是一個(gè)解決方案？HANA是包括了硬件，數(shù)據(jù)庫(kù)和解決方案的結(jié)合體。購(gòu)買(mǎi)HANA包括了從合作伙伴放進(jìn)行硬件采購(gòu)和HANAlicensekey的購(gòu)買(mǎi)?？蛻艨梢园惭bHANA然后從sap系統(tǒng)或非sap系統(tǒng)抽取數(shù)據(jù)到HANA中，來(lái)開(kāi)發(fā)報(bào)表。什么樣的客戶群會(huì)考慮HANA?制造業(yè)，地理，金融；還包括了處理大規(guī)模數(shù)據(jù)、報(bào)表需要大規(guī)模數(shù)據(jù)量、需要大量復(fù)雜計(jì)算的行業(yè)。

HANA的主要注重點(diǎn)就在于處理海量數(shù)據(jù)，并提供高性能的實(shí)時(shí)數(shù)據(jù)分析。HANA是如何在現(xiàn)代化硬件實(shí)現(xiàn)數(shù)據(jù)庫(kù)系統(tǒng)的愿景呢？行、列式存儲(chǔ)+內(nèi)存式計(jì)算….行式存儲(chǔ)與列式存儲(chǔ)——內(nèi)存地址8編碼單號(hào)A5B4C3D4E2F2G2A4B4C4D5E5F4G3A3B2映射到內(nèi)存ABCDEFGABCDEFGA

B5434222444554332A5B4C3D4E2F2G2A

4B4C4D5E5F4G3A3B2行式存儲(chǔ)列式存儲(chǔ)內(nèi)存地址內(nèi)存地址列式存儲(chǔ)——壓縮

基于企業(yè)數(shù)據(jù)特點(diǎn)：列的使用相對(duì)集中列中的值基數(shù)不高列式存儲(chǔ)的結(jié)構(gòu)支持高效的數(shù)據(jù)壓縮節(jié)省空間提升速度：內(nèi)存?zhèn)鬏擟PU緩存字典編碼，整數(shù)值比較快于字符值比較加快掃描和聚合

91234567123456712內(nèi)存地址ABCDEFGABCDEFGA

B內(nèi)存地址ABCDEFG列式存儲(chǔ)數(shù)據(jù)字典壓縮——樣例10表Song待壓縮的演唱者一列排序按照字典值排序行ID和值ID對(duì)應(yīng)表IDArtistGenreTitle1AdelesoulRollingInTheDeep2LadyGagapopBornthisway3KatyPerryhouseE.T.4JasonMrazpopIamyours5Adelesoulsomeonelikeyou6LadygagapopPockerface7KatyPerrypopPartofme8BrunoMarspopJusttheWayYouAre9JasonMrazPopLucky10KatyPerrypopWideawakeValueIDvalue1Adele2BrunoMars3JasonMraz4KatyPerry5Ladygaga字典rowidValueid112534435165748293104指向字典倒排索引ValueIDrows11,52834,943,7,1052,6HANA列式存儲(chǔ)數(shù)據(jù)訪問(wèn)（1）11rowidValueid112534435165748293104SongSelect*fromSongwhereArtist=‘KatyPerry’全表掃描，查找值ID=4按屬性值查找IDArtistGenreTitle1AdelesoulRollingInTheDeep2LadyGagapopBornthisway3KatyPerryhouseE.T.4JasonMrazpopIamyours5Adelesoulsomeonelikeyou6LadygagapopPockerface7KatyPerrypopPartofme8BrunoMarspopJusttheWayYouAre9JasonMrazPopLucky10KatyPerrypopWideawakerowidValueid112534435165748293104利用倒排索引查詢HANA列式存儲(chǔ)數(shù)據(jù)訪問(wèn)（2）12按照行號(hào)搜索列式表SongValueIDValue1house2pop3soul……流派字典RowIDValueID132231425362728292102結(jié)果IDArtistGenreTitle3KatyPerryhouseE.T.7KatyPerrypopPartofme10KatyPerrypopWideawakeHANA列式存儲(chǔ)加載狀態(tài)：未加載部分加載：由于查詢條件而加載入內(nèi)存全部加載主存儲(chǔ)(Main)+增量存儲(chǔ)(Delta)數(shù)據(jù)并不直接修改而是插入新數(shù)據(jù)：并行化，減少鎖，多版本控制主存儲(chǔ)對(duì)值ID進(jìn)一步壓縮，對(duì)讀取、計(jì)算性能優(yōu)化增量存儲(chǔ)不排序、不對(duì)值ID進(jìn)一步壓縮，占空間較大增量融合(DeltaMerge)：額外的CPU、內(nèi)存消耗可選優(yōu)化方案：內(nèi)存內(nèi)融合、分區(qū)13RuntimeInformationMergeStatisticsDeltaMergeAnalysisSchemaSizeofLoadedTableUsedmemorybytablesHANA列式存儲(chǔ)——并行化利用多核處理器并行高速處理數(shù)據(jù)對(duì)不同列的操作、對(duì)相同列的不同部分為表的分區(qū)提供可能：水平分區(qū)目前表最大數(shù)目為20億14行式存儲(chǔ)與列式存儲(chǔ)以元組為單位在啟動(dòng)時(shí)加載入內(nèi)存適合寫(xiě)操作

15列式存儲(chǔ)行式存儲(chǔ)

元組一

元組二列一列二列三列五列四以屬性為單位可以部分導(dǎo)入內(nèi)存適合聚合操作(Max,Min,Count,Distinct,AVG)列式存儲(chǔ)聚合計(jì)算16列式存儲(chǔ)表，對(duì)列的讀取可以單次讀取完成IDArtistGenreTitlehits1AdelesoulRollingInTheDeep3522LadyGagapopBornthisway2163KatyPerryhouseE.T.1834JasonMrazpopIamyours961234AdeleLadyGagaKatyPerryJasonMrazsoulpophousepopRollingInTheDeepBornthiswayE.T.Iamyours35221618396單次掃描聚合SELECTSUM(hits)FROMSong∑結(jié)果

847行式存儲(chǔ)與列式存儲(chǔ)以元組為單位在啟動(dòng)時(shí)加載入內(nèi)存適合寫(xiě)操作處理單個(gè)記錄訪問(wèn)小批量整行的搜索（例如：配置表）行重建成本低

17列式存儲(chǔ)行式存儲(chǔ)

元組一

元組二列一列二列三列五列四以屬性為單位可以部分導(dǎo)入內(nèi)存適合聚合操作(Max,Min,Count,Distinct,AVG)適合基于表中幾個(gè)字段的搜索利用多核技術(shù)并行計(jì)算行重建成本高兩種引擎的區(qū)別存在于它們處理數(shù)據(jù)的方式：行式存儲(chǔ)操作符用迭代器一次處理一行數(shù)據(jù)，而列式存儲(chǔ)操作（如掃描，聚合等等）需要整列都放在連續(xù)的內(nèi)存空間中行式存儲(chǔ)與列式存儲(chǔ)——元組重建考慮一張表，每個(gè)字段的大小是34個(gè)字節(jié)，屬性的個(gè)數(shù)為9，一個(gè)緩存段的大小為64個(gè)字節(jié)，一核CPU每毫秒處理2MB，則以行式存儲(chǔ)和列式存儲(chǔ)分別存儲(chǔ)數(shù)據(jù)，重構(gòu)一行所需要的時(shí)間？1MB=1000KB,1KB=1000B18行式存儲(chǔ)直接連續(xù)內(nèi)存段34*9=306，需要5端緩沖段，5*64=320字節(jié)所需時(shí)間=320/(2*10^6)=0.16微秒列式存儲(chǔ)跳躍獲取需要9端緩沖段，9*64=576字節(jié)所需時(shí)間=576/(2*10^6)=0.288微秒常見(jiàn)問(wèn)題HANA只是一個(gè)列式數(shù)據(jù)庫(kù)么？不是的，HANA中既有行存儲(chǔ)，也有列存儲(chǔ)HANA中的列式存儲(chǔ)是否還可以使用索引？是的，HANA的列式存儲(chǔ)對(duì)所有主鍵自動(dòng)建立索引(倒排索引)，對(duì)于經(jīng)常訪問(wèn)到的非主鍵列也是可以建立索引的HANA是否可以控制哪些表置于內(nèi)存中？可以的，可以通過(guò)對(duì)表的設(shè)置來(lái)控制內(nèi)存式數(shù)據(jù)庫(kù)是否仍然依賴(lài)于硬盤(pán)？是的，依舊需要硬盤(pán)支持備份和恢復(fù)HANA持久層20Data:SQL數(shù)據(jù),undo日志

其他諸如建模數(shù)據(jù)等信息將熱數(shù)據(jù)維持在HANA內(nèi)存中以獲得最優(yōu)性能Log:記錄數(shù)據(jù)更改的信息(redo日志)在事物遞交后寫(xiě)入持久層存儲(chǔ)先于數(shù)據(jù)的更新、寫(xiě)入Savepoint:確保更改后的數(shù)據(jù)和日志寫(xiě)入持久層頻率：默認(rèn)5分鐘

(由參數(shù):savepoint_internval_s控制)HANA重啟211Savepoint:Data&Undo日志(DataVolume)2Redo日志（LogVolume）3斷電TimeHANA主要組件

主要C++語(yǔ)言開(kāi)發(fā)，運(yùn)行在Linux操作系統(tǒng)NameServer：記錄HANA系統(tǒng)的拓?fù)浣Y(jié)構(gòu)XSserver：Web應(yīng)用服務(wù)器Indexserver：最核心組件，處理數(shù)據(jù)庫(kù)事務(wù)數(shù)據(jù)處理Preprocessor：文字處理Statisticsserver：收集監(jiān)控信息22HANA分布式系統(tǒng)服務(wù)與持久層23NameServer(active)IndexServer(Standby)NameServerIndexServerNameServerIndexServerNameServerIndexServerStatisticsServerXSEngineHostHostHostStandbyHostDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksDataDisksLogDisksHANA分布式系統(tǒng)ShareNothing的架構(gòu)Standby主機(jī)沒(méi)有自己的持久層HANA操作系統(tǒng)架構(gòu)24SAPHANA生命周期管理——安裝從SAPHANASPS7開(kāi)始，使用新工具h(yuǎn)dblcm進(jìn)行安裝，原有安裝工具h(yuǎn)dbinst依舊存在Server：安裝包包括： SAPHostAgent安裝包，DeliveryUnits，Pythonruntime、支持包，語(yǔ)言包，ini配置文件包，二進(jìn)制文件等壓縮包安裝流程：安裝包檢查硬件檢查HanaHwCheck.py從前端或Ba