大數(shù)據(jù)是云計算的殺手锏應用

大數(shù)據(jù)是云計算的殺手锏應用大數(shù)據(jù)與云計算的關系，引起一些人的困惑。為了便于探討二者的關系，這里從“計算”和“數(shù)據(jù)”的歷史關系說起。因為云計算首先是一種“計算”，大數(shù)據(jù)首先是一種“數(shù)據(jù)”，而計算機就是用來“計算”“數(shù)據(jù)”的。計算機是軟件和硬件分離的，是一種軟件定義的電子產(chǎn)品（可編程）。計算機設計中的一個重要問題是如何有效管理CPU、內(nèi)存和I/O等硬件資源，以及如何讓應用程序合理使用這些資源。這兩大任務最早內(nèi)嵌在各種應用程序中，由應用程序自身完成，缺點是費力、復雜和易錯，難以升級和移植，而且重復工作。上世紀60年代這些共性功能開始從應用中分離出來，逐步形成了一種通用的軟件包，這就是操作系統(tǒng)。操作系統(tǒng)是位于硬件和應用程序之間的“中間件”，讓應用軟件和硬件得以分離并獨立發(fā)展，發(fā)展成了最核心的計算機系統(tǒng)軟件，也成就了微軟公司的偉大。以UNIX為始祖的常見現(xiàn)代操作系統(tǒng)有Android、BSD、iOS、Linux、MacOSX、QNX等，以及原創(chuàng)的微軟Windows、WindowsPhone和IBM的z/OS。操作系統(tǒng)的工作范圍，也從最初的計算機蔓延到手機、游戲控制器、電視機頂盒、智能汽車和智能眼鏡等，還有與云計算密切相關的Web服務器。上世紀70年代，計算機的快速發(fā)展使得數(shù)字化數(shù)據(jù)爆發(fā)式增長，“海量”數(shù)據(jù)管理成了新挑戰(zhàn)。把通用操作系統(tǒng)的文件管理用于數(shù)據(jù)管理時，無論是擴展性、效率和便利性，都不適應“海量”數(shù)據(jù)的管理需要，應用軟件被迫內(nèi)嵌自己設計的數(shù)據(jù)管理系統(tǒng)。同樣的，“海量”數(shù)據(jù)管理由每個應用程序自身完成，缺點也是費力、復雜和易錯，難以升級和移植，并且重復工作。于是一種專門面向“海量”數(shù)據(jù)管理的通用軟件問世了，那就是數(shù)據(jù)庫管理系統(tǒng)（DBMS），一種應用系統(tǒng)軟件。DBMS包括了數(shù)據(jù)庫定義、創(chuàng)建、查詢、更新和管理等功能，這些都是數(shù)據(jù)管理所必需的，是操作系統(tǒng)的文件管理系統(tǒng)所沒有的。著名的DBMS有MySQL、PostgreSQL、SQLite、MicrosoftSQLServer、MicrosoftAccess、Oracle、Sybase、dBASE、FoxPro和IBMDB2等，都是關系型DBMS。當然還有非關系型NoSQL模式的，只是沒那么流行。DBMS與字處理軟件等一起，成為單機時代最重要的應用軟件，也成就了一家偉大的應用軟件公司Oracle。大約不足20年前，操作系統(tǒng)和數(shù)據(jù)庫的技術和市場未來，看起來都那么可預知。一個是微軟的天下，一個是Oracle的天下。但互聯(lián)網(wǎng)來了，尤其是Web開始流行。Web服務器所使用的操作系統(tǒng)，最初面向單機設計，擴展用于局域網(wǎng)范圍內(nèi)管理多臺服務器還勉強可用。但當互聯(lián)網(wǎng)巨頭崛起，需要Web服務器的操作系統(tǒng)管理數(shù)百萬臺Web服務器的時候，傳統(tǒng)操作系統(tǒng)勉為其難，需要“技術革命”了?！案锩钡慕Y果就是云計算。云計算大傘下有很多概念，核心技術之一是虛擬化。虛擬化有“1虛N”和“N虛1”兩種模式，前者主要是為了省錢，以AmazonAWS為代表。國內(nèi)經(jīng)典的則是多訊科技的WOS云田操作系統(tǒng)；后者主要是為了大數(shù)據(jù)處理，以GoogleGAE為代表。云計算的“N虛1”模式，可將多臺物理計算機虛擬化為一臺超級計算機，向應用程序提供資源池的調(diào)度管理服務，與傳統(tǒng)操作系統(tǒng)的功能幾乎完全相同，因此常被稱為“云計算操作系統(tǒng)”。只是云計算操作系統(tǒng)的工作范圍，擴大到數(shù)據(jù)中心甚至整個互聯(lián)網(wǎng)范圍內(nèi)，把每臺計算機也當做資源看待和管理。有了云計算操作系統(tǒng)，云應用軟件和硬件（計算機資源）得以分離，各自可以獨立發(fā)展。歷史再次重演，云計算以及SNS、微博、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等的快速發(fā)展，具有3V特點的數(shù)據(jù)爆發(fā)，大數(shù)據(jù)管理的挑戰(zhàn)也最先到來。同樣，面向計算設計的通用云計算操作系統(tǒng)，在大數(shù)據(jù)管理方面的擴展性、效率和便利性，都面臨新挑戰(zhàn)。歷史上計算機面對“海量”數(shù)據(jù)的挑戰(zhàn)，將數(shù)據(jù)應用和數(shù)據(jù)管理分離，催生了通用的DBMS。現(xiàn)在云計算面對大數(shù)據(jù)的挑戰(zhàn)，也必將使大數(shù)據(jù)應用和大數(shù)據(jù)管理分離，催生“大數(shù)據(jù)庫管理系統(tǒng)”，并且逐步走向通用化和平臺化。ATM（異步傳輸模式）是通信資源稀缺時代的產(chǎn)物，TCP/IP是通信資源富饒時代的產(chǎn)物。類似的，傳統(tǒng)DBMS是IT資源稀缺時代的產(chǎn)物，大數(shù)據(jù)管理系統(tǒng)是IT資源富饒時代的產(chǎn)