物聯(lián)網(wǎng)大數(shù)據(jù)處理技術與實踐（第2版）課件 第6章-實時事務調(diào)度處理技術

物聯(lián)網(wǎng)大數(shù)據(jù)處理技術與實踐InternetofThings

BigDataprocessingTechnologyandPractice實時事務調(diào)度處理技術常見事務特性分析1事務調(diào)度與并發(fā)控制2服務器與操作系統(tǒng)3事務的執(zhí)行框架與模式4系統(tǒng)框架的分析與性能優(yōu)化5PARTONE1常見事務特性分析師傅領進門，學藝在自身。------中國諺語實時事務調(diào)度處理技術事務是面向數(shù)據(jù)庫中數(shù)據(jù)存取訪問的一個邏輯工作單位，是一個操作序列，執(zhí)行這個操作序列使數(shù)據(jù)庫從一種一致狀態(tài)轉換到另一種一致狀態(tài)，以實現(xiàn)特定的業(yè)務功能。感知數(shù)據(jù)來源主要是分布的智能設備以及傳感器，并且數(shù)據(jù)具有很強的時間屬性。數(shù)據(jù)的時間屬性或者直接來自外界的傳感器，或者基于傳感器數(shù)據(jù)推導計算而來，其最主要的特性是時態(tài)一致性。傳統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)旨在處理永久性數(shù)據(jù)，其設計與開發(fā)主要強調(diào)數(shù)據(jù)的完整性、一致性，要求事務具有ACID特性（Atomicity-原子性、Consistency-一致性、Isolation-隔離性、Durability-持久性），以及提高系統(tǒng)的平均吞吐量等總體性能指標，卻很少考慮與數(shù)據(jù)本身及數(shù)據(jù)處理相關聯(lián)的時間屬性。常見事務特性分析根據(jù)感知數(shù)據(jù)的處理需求，我們把數(shù)據(jù)庫中的事務劃分為三大類：

感知事務

觸發(fā)事務

用戶事務感知事務

感知事務是數(shù)據(jù)庫獲取數(shù)據(jù)的基本方式，又稱為數(shù)據(jù)采集事務，或者傳感器事務。這些事務一般都是預定義的定期事務，按照一定的采集周期更新數(shù)據(jù)以保持數(shù)據(jù)時間屬性的絕對一致性，具有確定的性質(zhì)，包括事務的相對截止期、執(zhí)行周期以及最壞情形執(zhí)行時間。采集事務一般是固實時的事務，如果在一定的時間周期內(nèi)不能執(zhí)行完成，可以放棄；待下個執(zhí)行周期再執(zhí)行。但是，在特殊情況下，數(shù)據(jù)采集事務可以由用戶事務或者其它事務觸發(fā)。例如，用戶的控制指令往往需要通過即刻執(zhí)行的數(shù)據(jù)采集事務確定指令執(zhí)行的結果；或者一些事務的執(zhí)行需要保持相關數(shù)據(jù)的相對時間一致性時，可以通過發(fā)起實時采集事務保證。觸發(fā)事務

觸發(fā)事務是感知數(shù)據(jù)庫系統(tǒng)實現(xiàn)主動性的關鍵，可以分為更新觸發(fā)事務與定期事務。觸發(fā)事務一般通過ECA（Event-Condition-Action）規(guī)則進行定義，屬于預定義的事務。更新觸發(fā)事務：一般是系統(tǒng)中預定義的過程，在傳感器事務更新數(shù)據(jù)對象時觸發(fā)，用于主動的事務處理或者數(shù)據(jù)的推導計算等。這類事務一般具有明確的截止期，如果是時態(tài)數(shù)據(jù)更新事件定期觸發(fā)，則存在事務的執(zhí)行周期或者兩個事務之間的最小間隔時間。更新觸發(fā)事務與實時采集事務之間的關系可以是松耦合也可以是緊耦合，取決于用戶對數(shù)據(jù)一致性的要求；一般說來，實時數(shù)據(jù)采集事務更新時態(tài)數(shù)據(jù)對象中的相關屬性，如報警判定、單位轉換等采用緊耦合方式，而涉及多數(shù)據(jù)對象的屬性推導計算以及分析計算時采用松耦合方式。定期事務：一般是預定義或用戶提交的長計算事務，一般沒有明確的截止期，屬于軟實時事務，但是存在事務的執(zhí)行周期；并且，很多情況下的計算結果精度與事務執(zhí)行的時間有關。

用戶事務用戶事務總是由用戶或者客戶端應用發(fā)起，事務的操作類型可以是只讀、只寫或者讀寫，包括數(shù)據(jù)的查詢和修改。這類事務一般是非定期、軟實時事務，沒有明確的截止期，但是要求盡可能短的響應時間。PARTTWO2事務調(diào)度與并發(fā)控制事務的調(diào)度方法事務調(diào)度的最重要目標是保證數(shù)據(jù)的新鮮度即時間屬性，并保證盡可能多的事務能夠滿足截止期。感知數(shù)據(jù)庫中的采集事務主要是采集數(shù)據(jù)、完成數(shù)據(jù)更新，大量的采集事務涉及磁盤I/O等不可預測因素。緊耦合的觸發(fā)事務一般都是短事務，可以作為數(shù)據(jù)采集事務的子事務觸發(fā)執(zhí)行；松耦合的觸發(fā)事務最好作為獨立的事務，按照數(shù)據(jù)重要性以及時間屬性分配優(yōu)先級。事務調(diào)度算法必須綜合考慮事務的截止期與關鍵性，事務截止期與關鍵性的分布情況也在很大程度上影響系統(tǒng)的性能。事務的調(diào)度方法

事務調(diào)度算法必須綜合考慮事務的截止期與關鍵性，事務截止期與關鍵性的分布情況也在很大程度上影響系統(tǒng)的性能。在如何確定事務的優(yōu)先級方面，有許多不同的算法。

隨著計算機處理能力特別是并行能力的增強，事務的調(diào)度算法不只是分派單個的CPU資源，而是如何綜合利用系統(tǒng)的處理能力提升事務的吞吐量并盡可能滿足數(shù)據(jù)以及事務時間需求。并發(fā)控制策略并發(fā)控制中使用優(yōu)先級解決數(shù)據(jù)沖突有利于改進系統(tǒng)的性能。并發(fā)控制用于控制并發(fā)執(zhí)行的事務之間的交互操作以避免數(shù)據(jù)庫的一致性被破壞。傳統(tǒng)的并發(fā)控制大多采用基于鎖的方法，基于鎖的并發(fā)控制屬于悲觀的方法，總是假定事務沖突經(jīng)常發(fā)生，而實際上鎖只在最壞情形下才是必要的。優(yōu)先級反轉是傳統(tǒng)的并發(fā)控制協(xié)議應用于基于優(yōu)先級的事務調(diào)度表現(xiàn)出的主要問題。樂觀并發(fā)控制基于相反的假設，事務沖突很少發(fā)生，因此允許事務無阻礙地執(zhí)行直到全部操作完成，然后在提交時進行驗證，如果通過了檢驗就提交，否則夭折。并發(fā)控制策略感知數(shù)據(jù)庫系統(tǒng)中采用樂觀的并發(fā)控制方法能夠獲得更高的效率；因為數(shù)據(jù)采集事務是只寫事務，可以通過數(shù)據(jù)版本控制減少沖突；其他事務原則上不應該更改這些傳感器數(shù)據(jù)的值。所有實時采集的數(shù)據(jù)快照都保存在內(nèi)存中，為了增加事務的并發(fā)度，降低事務之間的沖突，系統(tǒng)中可以采用兩版本方法。每個時項都具有兩個數(shù)據(jù)版本，一個一致版本，一個工作版本，其中一致版本保存了該數(shù)據(jù)項的最近的有效版本。態(tài)數(shù)據(jù)數(shù)據(jù)采集服務程序處理數(shù)據(jù)更新事務時總是使用數(shù)據(jù)項的工作版本，而在事務提交時這個工作版本將轉換成一致版本。PARTTHREE3服務器與操作系統(tǒng)服務器體系結構與發(fā)展當前的商用服務器從系統(tǒng)架構可分為三類：對稱多處理器體系結構（SMP）非一致存儲訪問體系結構（NUMA）海量并行處理體系結構（MPP）SMP體系結構對稱多處理器結構，是指服務器中多個CPU對稱工作，無主次或從屬關系。SMP的各CPU共享相同的物理內(nèi)存，每個CPU訪問內(nèi)存中的任何地址所需時間是相同的，因此SMP也被稱為一致存儲器訪問結構(UMA)。SMP共享的特性導致它擴展能力有限。隨著CPU數(shù)量的增加，內(nèi)存訪問沖突也會增加，最終導致CPU資源浪費。SMP的CPU利用率最好的情況是是2~4個CPU。NUMA體系結構NUMA是針對SMP在擴展能力上的限制而提出的有效擴展從而構建大型系統(tǒng)的技術。NUMA服務器的基本特征是具有多個CPU模塊。其節(jié)點之間可以通過互通模塊信息連接和消息交互，每個CPU可訪問整個系統(tǒng)的內(nèi)存。利用NUMA技術可以較好的解決SMP系統(tǒng)的擴展問題

圖-NUMA體系結構MPP體系結構MPP由多個SMP服務器通過一定的節(jié)點互聯(lián)網(wǎng)絡進行連接，協(xié)同工作，完成相同的任務。其中，每個節(jié)點只訪問自己的本地資源，是一種完全無共享結構。在MPP系統(tǒng)中，每個SMP節(jié)點也可以運行自己的操作系統(tǒng)、數(shù)據(jù)庫等。MPP服務器需要一種復雜的機制來調(diào)度和平衡各個節(jié)點的負載和并行處理過程。從架構來看，NUMA與MPP具有許多相似之處，它們之間的對比見右圖。操作系統(tǒng)的多任務機制：Linux操作系統(tǒng)體系結構GNU/Linux操作系統(tǒng)最上層是用戶空間，即用戶應用程序執(zhí)行的地方。用戶空間之下是內(nèi)核空間，其中分為：系統(tǒng)調(diào)動接口獨立于體系結構的內(nèi)核代碼依賴于體系結構的代碼除此之外，GNUCLibrary提供了連接內(nèi)核的系統(tǒng)調(diào)用接口，還提供了在用戶空間應用程序和內(nèi)核之間進行轉換的機制

GNU/Linux操作系統(tǒng)的體系結構操作系統(tǒng)的多任務機制：程序、進程與線性程序是為了完成某種任務而設計的軟件，進程就是運行中的程序。一個進程是一個程序的一次執(zhí)行的過程。在Linux中，一個進程在內(nèi)存里有三部分數(shù)據(jù):“數(shù)據(jù)段”、“堆棧段”與“代碼段”。線程是在共享內(nèi)存空間中并發(fā)的多道執(zhí)行路徑，它們共享一個進程的資源，如文件描述和信號處理。POSIX線程是線程的POSIX標準，定義了創(chuàng)建和操縱線程的一套API，實現(xiàn)POSIX線程標準的庫稱作PThread。一個進程可以擁有多個線程，每個線程必須有一個父進程。操作系統(tǒng)的多任務機制：Linux進程調(diào)度Linux支持兩種類型的進程調(diào)度，實時進程和普通進程。其內(nèi)核具體提供以下進程調(diào)度策略：SCHED_NORMAL：默認的調(diào)度策略，針對的是普通進程；SCHED_FIFO：針對實時進程的先進先出調(diào)度,適合對時間性要求比較高但每次運行時間比較短的進程；SCHED_RR：針對的是實時進程的時間片輪轉調(diào)度,適合每次運行時間比較長得進程；SCHED_BATCH：針對批處理進程的調(diào)度，適合那些非交互性且對CPU使用密集的進程；SCHED_IDLE：適用于優(yōu)先級較低的后臺進程。PARTFOUR4事務的執(zhí)行框架與模式通用系統(tǒng)模型與調(diào)度方法

在多核、多線程、多處理器環(huán)境中的系統(tǒng)模型與事務調(diào)度以及并發(fā)控制都需要重新分析與設計，下面我們從數(shù)據(jù)庫系統(tǒng)模型的設計出發(fā)，分析多核、多處理器環(huán)境中優(yōu)化的實時數(shù)據(jù)庫系統(tǒng)開發(fā)模式以及設計中的關鍵問題，給出一個泛化的、基于前面描述的感知事務模型的單進程多線程事務處理框架，并在此基礎上，分析優(yōu)化的多進程、多線程的事務處理框架的設計模式。單進程多線程模式單進程多線程系統(tǒng)模式的優(yōu)勢在于提高系統(tǒng)并行性與提供處理器資源利用率的同時，具有系統(tǒng)開銷小、數(shù)據(jù)共享方便等優(yōu)點。右圖給出了一個單進程多線程的事務調(diào)度處理框架。其主要包括事務隊列管理器和事務調(diào)度主線程。事務隊列管理器用于管理來自采集接口的各種事務。事務調(diào)度主線程根據(jù)預定義的事務調(diào)度策略為事務分派不同的事務處理線程執(zhí)行事務，事務處理線程根據(jù)操作系統(tǒng)的調(diào)度機制分配處理器資源運行，也可以由事務調(diào)度主線程指定處理器或者內(nèi)核運行。基于功能劃分的多線程模式右圖給出了基于功能劃分的數(shù)據(jù)庫多進程系統(tǒng)模型。其中，實時數(shù)據(jù)管理與歷史數(shù)據(jù)管理分別由不同的進程負責，并且提供一定的進程間通信機制與數(shù)據(jù)存取接口。多進程系統(tǒng)的優(yōu)點在于內(nèi)存隔離，單個進程的異常不會導致整個系統(tǒng)的崩潰；缺點是由于大量的進程間調(diào)用，導致通信和切換開銷比較大，消耗更多資源。多進程模型有以下優(yōu)點：更高的系統(tǒng)穩(wěn)定性更好的模塊化與可擴展性可以有效的適應分布式系統(tǒng)基于數(shù)據(jù)分區(qū)的多進程框架基于數(shù)據(jù)分區(qū)的多進程模式將數(shù)據(jù)進行水平分片，即將數(shù)據(jù)集合劃分成一系列子集，各個子集之間可以有交集，也可以沒有交集。對應于各個數(shù)據(jù)子集，都有自己的一個完整的功能系統(tǒng)，處理該系統(tǒng)所屬的數(shù)據(jù)。這種劃分可以有效的提高系統(tǒng)的并行性，并且可以提供主進程+多工作進程模式，但是需要提供全局的數(shù)據(jù)與服務管理能力。5系統(tǒng)框架的分析與性能優(yōu)化系統(tǒng)框架的分析與性能優(yōu)化在數(shù)據(jù)庫服務器程序的設計與開發(fā)中，選擇合適的系統(tǒng)設計模式至關重要。這些模式包括單線程模式、多進程模式和多線程模式。單線程模式簡單易用，但在處理復雜任務和高并發(fā)時性能有限。多進程模式穩(wěn)定性較高，但進程間通信和切換開銷較大。多線程模式能充分利用多核處理器，提供更高的性能和響應能力，但需要處理線程安全和同步問題。系統(tǒng)框架的分析與性能優(yōu)化在設計中應充分考慮各種因素以求做到系統(tǒng)資源的最大利用。系統(tǒng)設計模式可以概括為三種：多線程單進程模式：系統(tǒng)所有功能在單個進程中實現(xiàn)，通過多線程最大化系統(tǒng)資源利用與性能提升；多線程多進程模式：基于功能劃分的多進程系統(tǒng)框架采用這種模式實現(xiàn)，系統(tǒng)通過多個不同的端口對外提供差別服務；多線程主進程+工作進程模式：這種模式支持動態(tài)創(chuàng)建或者終止工作進程，但是最好在服務運行期間減少動態(tài)的創(chuàng)建與終止。系統(tǒng)框架的分析與性能優(yōu)化無論是采用何種模式，都是多線程的。多線程是為了同步完成多項任務，不是為了提高運行效率，而是為了提高資源使用效率來提高系統(tǒng)的效率。特別是，提高多核系統(tǒng)的性能，在幾個線程都同時準備運行的多線程應用程序中，每個核可以運行不同的線程，應用程序?qū)崿F(xiàn)了真正的并行任務執(zhí)行。這樣不僅增強了CPU使用效率更高和系統(tǒng)可靠性更高這兩個優(yōu)點，而且使性能得到徹底提高。使用線程還可以把占據(jù)長時間的程序中的任務放到后臺去處理，用戶界面可以及時響應。一個多線程服務程序中的線程大致可分為三類：IO線程計算線程其它輔助線程系統(tǒng)框架的分析與性能優(yōu)化實時感知數(shù)據(jù)庫系統(tǒng)在進行調(diào)度優(yōu)化時通?？紤]以下三個主要因素：優(yōu)化定期計算事務：將長時間計算任務綁定到特定處理器上，減少對其他任務的干擾，降低線程切換開銷。優(yōu)化共享數(shù)據(jù)訪問：將需要共享相同數(shù)據(jù)的線程或進程綁定到同一CPU上，提高CPUCach