云數(shù)據(jù)庫方案設計

1、云數(shù)據(jù)庫方案設計一、 云 數(shù)據(jù)庫的云化改造面向云化環(huán)境， 數(shù)據(jù)庫在多個方面需要進行改造， 包括快捷的安 裝部署，提供數(shù)據(jù)庫的動態(tài)伸縮和資源隔離，以及監(jiān)控、遷移、備份 等一體化管理，以適應云環(huán)境中自動安裝部署、一體化監(jiān)控管理，資 源動態(tài)分配等需求?？焖侔惭b及部署一鍵部署和分鐘級實例的創(chuàng)建 :1. 準備好預置數(shù)據(jù)庫的 docker 鏡像a. 初始化好空數(shù)據(jù)目錄（也支持根據(jù)場景預置數(shù)據(jù)）b. 數(shù)據(jù)庫配置文件放置在 docker 鏡像之外，通過映射的方式進入 鏡像內(nèi)部2. 用戶選擇實例資源后（ CPU、內(nèi)存），系統(tǒng)自動計算最佳設置a. 用戶選擇實例的內(nèi)存、 CPU數(shù)量，使用場景（ OLTP、 OLAP

2、）b. 根據(jù)用戶選擇，自動調(diào)整、優(yōu)化參數(shù)（共享緩存、 work_mem 、3. 使用 docker 鏡像加載外置配置文件啟動數(shù)據(jù) 多種部署方式1. 單機（單獨的 docker 鏡像）2. 主備 和 負載均衡a) . 配置好的三個獨立 docker 鏡像，分別扮演主機、備機、讀寫 分離節(jié)點b) . 三個節(jié)點配置文件都在外部，映射到內(nèi)部運行c) . 啟動時，根據(jù)用戶的資源選擇和網(wǎng)絡場景， 自動規(guī)劃配置文件 內(nèi)容3. KADB 集群a) . 根據(jù)角色配置好獨立的 docker 鏡像，分別扮演數(shù)據(jù)節(jié)點、協(xié)調(diào)器節(jié)點等b) . 節(jié)點的配置文件都放在外部，映射到內(nèi)部運行c) . 根據(jù)用戶設置的資源， 場景，

3、自動分配節(jié)點數(shù)量， 配置節(jié)點參 數(shù).在線伸縮云環(huán)境中，支持在線調(diào)整任何一個實例使用的資源。 對于數(shù)據(jù)庫而言， 若分配的資源，包括 CPU、內(nèi)存、磁盤等資源發(fā)生變化，數(shù)據(jù)庫同樣 需要對于資源的變化實施生效。CPU變化時， 主要影響數(shù)據(jù)庫的并發(fā)連接數(shù)和并行參數(shù)， 在金倉云數(shù) 據(jù)庫中，并發(fā)連接數(shù)和并行參數(shù)可以動態(tài)調(diào)整。內(nèi)存發(fā)生變化時， 數(shù)據(jù)庫的共享內(nèi)存， 排序內(nèi)存等內(nèi)存分配支持動態(tài) 調(diào)整，動態(tài)擴展。磁盤發(fā)生變化時，數(shù)據(jù)庫可以配置表空間的存儲，以及表存儲，分區(qū) 的存儲，動態(tài)使用新增資源。另外，隨著實際業(yè)務的增長， 數(shù)據(jù)庫集群的負載可能超出初始設計的 承受能力，使得處理能力下降，不再滿足業(yè)務需求，所以數(shù)

4、據(jù)庫集群 支持在線擴展能力， 即在不影響系統(tǒng)正常使用的情況下， 增加數(shù)據(jù)庫 的數(shù)據(jù)處理能力。資源隔離KingbaseES云數(shù)據(jù)庫支持多租戶模式， 以實現(xiàn)多個租戶之間的資源隔 離。每個租戶創(chuàng)建自己的數(shù)據(jù)庫， 各自的數(shù)據(jù)庫從元信息、 用戶數(shù)據(jù)到內(nèi) 存、以及日志信息，都是彼此隔離的。每個租戶的數(shù)據(jù)庫不可以彼此 訪問。各個租戶的數(shù)據(jù)庫可以方便的遷移和加載，支持各自的備份和恢復。 一體化管理使用 KEM 監(jiān)控數(shù)據(jù)庫運行狀態(tài)a) . 支持自主監(jiān)控(由 KEM 主動呈現(xiàn))b) . 支持將收集的數(shù)據(jù)匯集到其他管理平臺使用 WEB 對象管理工具管理數(shù)據(jù)庫對象a). 單機形式的數(shù)據(jù)庫對象管理b). 主備形式的數(shù)據(jù)

5、庫對象管理c) . KADB集群數(shù)據(jù)庫對象管理二、向非關系型存儲、大數(shù)據(jù)處理進行擴展通用數(shù)據(jù)庫 通用數(shù)據(jù)庫按照處理業(yè)務的類型，分為交易型數(shù)據(jù)庫和分析型數(shù)據(jù) 庫。交易數(shù)據(jù)庫主要用于交易類型的業(yè)務處理，例如：業(yè)務流程電子化，其他業(yè)務系 統(tǒng)。面向所有參與業(yè)務流程的人員。對數(shù)據(jù)的操作特點是：大量短、 頻、快的增刪改操作。分析型數(shù)據(jù)庫 主要用于統(tǒng)計分析，數(shù)據(jù)挖掘應用。面向決策者和分析人員。對數(shù)據(jù) 庫的操作特點是：大量數(shù)據(jù)入庫，大量復雜查詢。云上的數(shù)據(jù)庫需要有這兩種數(shù)據(jù)庫，來應對更多的用戶應用需求。 與大數(shù)據(jù)平臺的互訪大數(shù)據(jù)計算平臺，例如 Spark、 HIVE等，需要支持大數(shù)據(jù)計算平臺與 數(shù)據(jù)庫互訪。以

6、大數(shù)據(jù)計算平臺為中心，建立分析平臺。 大數(shù)據(jù)計算平臺訪問數(shù)據(jù)庫a）大數(shù)據(jù)計算平臺 Spark：可以提供 JdbcRDD來訪問單機數(shù)據(jù)庫系統(tǒng)， 并且根據(jù)某列對表進行分 區(qū)，并行讀取，提升效率。對于集群數(shù)據(jù)庫， Spark工作進程可以對 每一個存儲節(jié)點進行數(shù)據(jù)讀取，通過這種并行的方式提升效率。 b）大數(shù)據(jù)計算平臺 HIVE：需要在 HIVE中注冊數(shù)據(jù)庫表信息，將數(shù)據(jù)庫的表映射成 HIVE表，通 過 Hive-SQL進行數(shù)據(jù)讀取，并在 HIVE 中進行運算。 數(shù)據(jù)庫訪問大數(shù)據(jù)計算平臺大數(shù)據(jù)計算平臺可以將數(shù)據(jù)，例如計算結(jié)果，寫入到數(shù)據(jù)庫中，再在 數(shù)據(jù)庫中，利用 SQL對數(shù)據(jù)進行分析。云數(shù)據(jù)集成與 RDS 的數(shù)據(jù)集成數(shù)據(jù)庫使用外部表技術，可以訪問 RDS中的其他數(shù)據(jù)。支持多種格式的數(shù)據(jù)；支持訪問和更新數(shù)據(jù)。 同時，使用遷移工具實現(xiàn)到 RDS的數(shù)據(jù)集成。.與大數(shù)據(jù)存儲平臺的數(shù)據(jù)集成數(shù)據(jù)庫提供外部表技術， 可以將交易型和分析型數(shù)據(jù)庫與其他存儲平 臺對接，在數(shù)據(jù)庫內(nèi)部，通過外部表訪問大數(shù)據(jù)存儲平臺中的數(shù)據(jù)， 包括：a）與 HDFS對接：外部表訪問引擎（讀寫模塊） ，通過調(diào)用 HDFS的訪 問接口（ InputFormat，OutputFormat），對 Textfile，Avrofile，ParquetFile 的文件進行讀寫。可以在數(shù)據(jù)庫中對 HDFS