大數(shù)據(jù)中心考核草案

1、金融大數(shù)據(jù)中心考核草案為了更好的推進和保證金融大數(shù)據(jù)中心建設(shè)和對外支持工作，特編寫金融大數(shù)據(jù)中心考核草案，草案主要涉及到金融大數(shù)據(jù)中心數(shù)據(jù)開發(fā)部、應(yīng)用開發(fā)部、數(shù)據(jù)挖掘部，各部門要明確相關(guān)部門主要的目標、策略、責任及考核最終落實到人；草案涉及到兩部分，一部分是要求類，另一部分是考核類，要求類是日常設(shè)計、開發(fā)或運維等工作中需要遵守且對中心內(nèi)部比較重要的指標或事項，考核類主要是影響業(yè)務(wù)正常開展的相關(guān)指標，系統(tǒng)的不可用、不及時、不準確等對業(yè)務(wù)部門的工作造成了一定的影響，都屬于本中心考核范疇；考核草案詳情如下：1、 數(shù)據(jù)開發(fā)部1. 數(shù)據(jù)定義有邏輯模型和物理模型，并有建模說明，建模按照建模規(guī)范進行，模型標

2、準和規(guī)范進行考核。建模規(guī)范、考核標準2. 數(shù)據(jù)分類數(shù)據(jù)按照數(shù)據(jù)倉庫行業(yè)標準并結(jié)合金融大數(shù)據(jù)中心實際內(nèi)容指定標準分類，數(shù)據(jù)嚴格按照分類進行劃分(例如：數(shù)據(jù)歸類可劃分當事人、產(chǎn)品、渠道、合約、機構(gòu)、事件、活動、賬務(wù)等)分類標準、考核標準3. 元數(shù)據(jù)管理 從以下幾點進行考核：1) 對數(shù)據(jù)倉庫中的數(shù)據(jù)(包含來源以及數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù))進行描述，相關(guān)人員可以查看。2) 統(tǒng)一記錄好ETL中調(diào)度時間、依賴、抽取內(nèi)容、方式、方法等。3) 記錄并檢測系統(tǒng)數(shù)據(jù)的一致性，并能記錄執(zhí)行情況。4) 記錄好ETL數(shù)據(jù)清洗模型、轉(zhuǎn)換模型、加載模型，相關(guān)信息入庫。4. 數(shù)據(jù)標準 主要針對指標的業(yè)務(wù)標準、技術(shù)標準。業(yè)務(wù)標準：

3、對指標有明確的統(tǒng)計邏輯。技術(shù)標準： 表、視圖、索引、分區(qū)、文件、腳本、字段等符合規(guī)范，相同指標需要有統(tǒng)一的定義。業(yè)務(wù)標準、技術(shù)標準(有了，看看是否需要完善)5. 數(shù)據(jù)質(zhì)量1) 根據(jù)不同的業(yè)務(wù)需求和規(guī)則驗證數(shù)據(jù)是否被正確地轉(zhuǎn)化。2) 確保所有預期的數(shù)據(jù)加載到數(shù)據(jù)倉庫中沒有任何數(shù)據(jù)丟失和截斷。3) 確保數(shù)據(jù)在規(guī)定和預計的時間框架內(nèi)被加載到數(shù)據(jù)倉庫中，以確認改進的性能和可擴展性。4) 預期數(shù)據(jù)被添加到目標系統(tǒng)5) 確認所有的數(shù)據(jù)庫字段，字段數(shù)據(jù)加載沒有任何截斷6) 記錄計數(shù)匹配的數(shù)據(jù)校驗7) 被拒絕的數(shù)據(jù)的錯誤日志都有詳細記錄8) NULL值字段9) 重復數(shù)據(jù)未加載10) 數(shù)據(jù)的完整性缺少數(shù)據(jù)質(zhì)量衡

4、量標準。6. 穩(wěn)定性： 每天ETL調(diào)度的出錯率需要在總?cè)蝿?wù)量的10%以內(nèi)，出錯要找出出錯原因(例如：沒有順序執(zhí)行、時間延遲、程序錯誤等)，并上報給規(guī)劃管理部進行記錄備案，并納入季度及年度部門及個人考核。7. 其它1) 腳本編寫等需要有良好的數(shù)據(jù)庫移植性，不適用特定數(shù)據(jù)庫的特殊函數(shù)(使用sql9.2標準)，便于后期不同的平臺、系統(tǒng)、數(shù)據(jù)的移植。2) 安全性：系統(tǒng)的安全性要首先考慮，系統(tǒng)或數(shù)據(jù)倉庫的設(shè)計要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全方面充分考慮，對外數(shù)據(jù)支持需要走流程，規(guī)劃管理部要進行審核。3) 數(shù)據(jù)分散與集中相結(jié)合：所有數(shù)據(jù)集中存儲，數(shù)據(jù)倉庫根據(jù)需要對外系統(tǒng)(中心外或中心內(nèi)的應(yīng)用系統(tǒng))管理分別

5、設(shè)置權(quán)限，不同的用戶維護不同數(shù)據(jù)。2、 應(yīng)用開發(fā)部應(yīng)用開發(fā)部主要涉及到應(yīng)用程序或接口服務(wù)程序的設(shè)計、開發(fā)、優(yōu)化、監(jiān)控、運維等(例如WEB、APP、接口程序等)工作，下面提出針對系統(tǒng)設(shè)計、開發(fā)或運維時需要考慮的部分指標，指標有待大家進行擴充和完善。1. 事務(wù)（Transaction）在web中一個事務(wù)表示一個“從用戶發(fā)送請求->web server接受到請求，進行處理-> web server向DB獲取數(shù)據(jù)->生成用戶的object(頁面)，返回給用戶”的過程，一般的響應(yīng)時間都是針對事務(wù)而言的。支持事物個數(shù)：？2. 請求響應(yīng)時間請求響應(yīng)時間指的是從客戶端發(fā)起的一個請求開始，到客

6、戶端接收到從服務(wù)器端返回的響應(yīng)結(jié)束，這個過程所耗費的時間，在某些工具中，響應(yīng)通常會稱為“TTLB”，即"time to last byte"，意思是從發(fā)起一個請求開始，到客戶端接收到最后一個字節(jié)的響應(yīng)所耗費的時間，響應(yīng)時間的單位一般為“秒”或者“毫秒”。公式為：響應(yīng)時間網(wǎng)絡(luò)響應(yīng)時間+應(yīng)用程序響應(yīng)時間。標準可參考國外的3/5/10原則：（1）在3秒鐘之內(nèi)，頁面給予用戶響應(yīng)并有所顯示，可認為是“很不錯的”；（2）在35秒鐘內(nèi)，頁面給予用戶響應(yīng)并有所顯示，可認為是“好的”；（3）在510秒鐘內(nèi)，頁面給予用戶響應(yīng)并有所顯示，可認為是“勉強接受的”；（4）超過10秒就讓人有點不耐煩了

7、，用戶很可能不會繼續(xù)等待下去；3. 事務(wù)響應(yīng)時間事務(wù)可能由一系列請求組成,事務(wù)的響應(yīng)時間主要是針對用戶而言,屬于宏觀上的概念，是為了向用戶說明業(yè)務(wù)響應(yīng)時間而提出的。各系統(tǒng)事物響應(yīng)時間？4. 并發(fā)用戶數(shù)并發(fā)一般分為2種情況。一種是嚴格意義上的并發(fā)，即所有的用戶在同一時刻做同一件事情或者操作，這種操作一般指做同一類型的業(yè)務(wù)；還有一種特例，即所有用戶進行完全一樣操作。各系統(tǒng)的并發(fā)用戶數(shù)？5. 吞吐量指的是在一次性能測試過程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和.吞吐量/傳輸時間,就是吞吐率.6. TPS（transaction per second）每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量.它是衡量系統(tǒng)處理能力的

8、重要指標.7. 宕機率主要系統(tǒng)全年宕機時間<=?8. 點擊率每秒鐘用戶向WEB服務(wù)器提 交的HTTP請求數(shù).這個指標是WEB應(yīng)用特有的一個指標:WEB應(yīng)用是"請求-響應(yīng)"模式,用戶發(fā)出一次申請,服務(wù)器就要處理一次,所以點擊是WEB應(yīng)用能夠處理的交易的最小單位.如果把每次點擊定義為一個交易,點擊率和TPS就是一個概念.容易看出,點擊率越大,對服務(wù)器的壓力越大.9. 資源利用率1) 通用指標（指Web應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器必需測試項)指標說明ProcessorTime服務(wù)器CPU占用率，一般平均達到70%時，服務(wù)就接近飽和Memory Available Mbyte可用

9、內(nèi)存數(shù)，如果測試時發(fā)現(xiàn)內(nèi)存有變化情況也要注意，如果是內(nèi)存泄露則比較嚴重Physicsdisk Time物理磁盤讀寫時間情況2) Web服務(wù)器指標指標說明Requests Per Second（Avg Rps）平均每秒鐘響應(yīng)次數(shù)總請求時間 / 秒數(shù)Avg time to last byte per terstion （mstes）平均每秒業(yè)務(wù)腳本的迭代次數(shù) ,有人會把上面那個混淆Successful Rounds成功的請求Failed Requests失敗的請求Successful Hits成功的點擊次數(shù)Failed Hits失敗的點擊次數(shù)Hits Per Second每秒點擊次數(shù)Success

10、ful Hits Per Second每秒成功的點擊次數(shù)Failed Hits Per Second每秒失敗的點擊次數(shù)Attempted Connections嘗試鏈接數(shù)3) 數(shù)據(jù)庫服務(wù)器性能指標指標說明User 0 Connections用戶連接數(shù)，也就是數(shù)據(jù)庫的連接數(shù)量Number of deadlocks數(shù)據(jù)庫死鎖Butter Cache hit數(shù)據(jù)庫Cache的命中情況4) 系統(tǒng)的瓶頸定義性能項命令指標CPU限制vmstat當%user+%sys超過80%時磁盤I/O限制Vmstat當%iowait超過40%(AIX4.3.3或更高版本)時應(yīng)用磁盤限制Iostat當%tm_act超過70%時虛存空間少Lsps，-a當分頁空間的活動率超過70%時換頁限制Iostat, stat虛存邏輯卷%tm_act超過I/O(iostat)的30%，激活的虛存率超過CPU數(shù)量(vmstat)的10倍時系統(tǒng)失效Vmsta