終于有人把AI、BI、大數(shù)據(jù)、數(shù)據(jù)科學(xué)講明白了

導(dǎo)讀：本文概述數(shù)據(jù)、分析、商業(yè)智能、報表、大數(shù)據(jù)、數(shù)據(jù)科學(xué)、邊緣分析、信息學(xué)以及人工智能和認(rèn)知計(jì)算這些基本概念。01數(shù)據(jù)數(shù)據(jù)幾乎滲透到我們生活的每一個角落，從我們在手機(jī)中留下的數(shù)字足跡，到健康記錄，再到購物歷史，以及對資源（如能源）的使用情況。在當(dāng)今這個數(shù)字世界里，脫離數(shù)字的生活雖然不是不可接受的，但也需要巨大的犧牲精神和不可思議的毅力才能忍受。我們不僅是數(shù)據(jù)制造者，同時也是活躍的數(shù)據(jù)消費(fèi)者，例如我們時常檢查自己的在線消費(fèi)習(xí)慣，監(jiān)測健身程序，或者查看自己的常旅客積分是否夠去加勒比度假，這些行為都是在消費(fèi)數(shù)據(jù)。但數(shù)據(jù)到底是什么？按最通用的形式來理解，數(shù)據(jù)就是被儲存起來以備日后使用的信息。最早記錄信息的方式可能是在動物骨頭上刻蝕符號。到了20世紀(jì)50年代，人們開始在磁帶上記錄數(shù)字信息，然后是打孔卡片，再后來是使用磁盤。現(xiàn)代數(shù)據(jù)處理開始的時間并不長，但已經(jīng)奠定了我們?nèi)绾问占⒋鎯?、管理、使用信息的基礎(chǔ)。直到最近，我們對那些無法計(jì)算的信息（例如，視頻和圖像信息）還只能進(jìn)行分類處理。但近幾年來，通過大量的技術(shù)變革，無法存儲的數(shù)據(jù)類型變得越來越少了。事實(shí)上，存儲的信息，或者數(shù)據(jù)，就是以一種可用的編碼方式，為了我們可計(jì)算的目的而建立的真實(shí)世界的模型。數(shù)據(jù)是真實(shí)世界中所發(fā)生事情的持續(xù)記錄或“模型”，這一事實(shí)是分析學(xué)的一個重要特征。被公認(rèn)為“20世紀(jì)最偉大的統(tǒng)計(jì)學(xué)家之一”曾經(jīng)說過：“所有的模型都是錯誤的，但有些模型是有用的?！焙芏鄷r候，我們在數(shù)據(jù)中發(fā)現(xiàn)一些沒有意義或者完全錯誤的東西。請記住，數(shù)據(jù)是從真實(shí)的物理世界轉(zhuǎn)化并抽象為代表真實(shí)世界的東西，即喬治所說的“模型”。就像機(jī)械速度計(jì)是測量速度的標(biāo)準(zhǔn)一樣（也是衡量速率的一個很好的替代物），這個模型（指機(jī)械速度計(jì)）實(shí)際上是測量輪胎的轉(zhuǎn)速，而不是速度。總之，數(shù)據(jù)是存儲的信息，是所有分析的基礎(chǔ)。例如，在可視化分析中，我們利用可視化技術(shù)和交互界面對數(shù)據(jù)進(jìn)行解析和推理，找出數(shù)據(jù)本身存在的規(guī)律。02分析分析（analytics）可能是商業(yè)中使用得最多但卻最難理解的術(shù)語之一。對一些人來說，它是一種用來“把數(shù)據(jù)屈打成招”（找出數(shù)據(jù)中潛藏規(guī)律）的技術(shù)或技巧，或者僅僅是商業(yè)智能與數(shù)據(jù)倉庫的延伸；而對另外一些人來說，分析則是用于開發(fā)模型的統(tǒng)計(jì)、數(shù)學(xué)或定量方法。Merriam-Webster字典稱分析是“一種邏輯分析的方法”。D字典將分析定義為“邏輯分析的科學(xué)”。不幸的是，兩種定義都直接使用了分析（analysis）這個詞的詞根，似乎存在循環(huán)解釋的邏輯錯誤。分析（analysis）這個詞的起源可以追溯到16世紀(jì)80年代的中世紀(jì)拉丁語（anal-yticus）和希臘語（anal-ytiks），意思是“分解”（breakup）或者“放松”（loosen）。我把分析（analytics）定義為一種解決數(shù)據(jù)驅(qū)動問題的結(jié)構(gòu)化方法：通過對事實(shí)（數(shù)據(jù)）的仔細(xì)推敲，幫助我們解決問題的一套方法論。關(guān)于分析的定義有很多爭論。就當(dāng)前討論的問題而言，我將分析定義為：一種全面的、基于數(shù)據(jù)驅(qū)動的解決問題的策略與方法。我有意避免將分析定義為某個“過程”、某種“科學(xué)”或“學(xué)科”。相反，我將分析定義為一種全面的策略，正如讀者將在本書第二部分中看到的那樣，它是包含過程、規(guī)則、可交付物的最佳實(shí)踐。分析通過使用邏輯、歸納推理、演繹推理、批判思維、定量方法（結(jié)合數(shù)據(jù)）等手段，來檢驗(yàn)和分析現(xiàn)象，從而確定其本質(zhì)特征。分析植根于科學(xué)方法，包括問題的識別和理解、理論生成、假設(shè)檢驗(yàn)和結(jié)果交流。歸納推理當(dāng)積累的證據(jù)被用來支持一個結(jié)論，但結(jié)論仍帶有一些不確定性的時候，就會用到歸納推理方法。也就是說，最終的結(jié)論有可能（存在一定概率）與給定前提不一致。通過歸納推理，我們基于具體的觀測或數(shù)據(jù)能夠做出廣泛的、一般意義上的概括和總結(jié)。演繹推理演繹推理基于某些一般案例提出論斷，然后依靠數(shù)據(jù)，使用統(tǒng)計(jì)推斷或?qū)嶒?yàn)手段證明或證偽提出的論斷。例如，按照演繹推理方法，我們提出一個關(guān)于世界運(yùn)動方式的基本理論，然后（應(yīng)用數(shù)據(jù)）去檢驗(yàn)我們提出的假設(shè)的正確性。分析可以用來解決各種各樣的問題。例如，UPS公司應(yīng)用分析結(jié)果而采取優(yōu)化貨物運(yùn)輸措施，節(jié)省了150多萬加侖（1加侖=3.78541立方分米）的燃油，減少了14000噸的二氧化碳排放量；克利夫蘭診所利用分析結(jié)果優(yōu)化了手術(shù)室的運(yùn)營時間安排。有了這些成功案例，對于技術(shù)供應(yīng)商（硬件和軟件）和其他不同支持者來說，“分析”毫無疑問都是極具吸引力的。當(dāng)然，“分析”這個詞當(dāng)前存在過度使用危險，這可以從人們把這個術(shù)語與其他詞的各種組合中看出。諸如：大數(shù)據(jù)分析（bigdataanalytics）規(guī)范性分析（prescriptiveanalytics）業(yè)務(wù)分析（businessanalytics）操作分析（operationalanalytics）高級分析（advancedanalytics）實(shí)時分析（real-timeanalytics）邊緣或環(huán)境分析（edgeorambientanalytics）雖然以上這些組合與搭配在分析應(yīng)用的類型和描述上具有獨(dú)特性，但也經(jīng)常造成理解上的混亂，特別是對企業(yè)高管（如CXO層次高管）而言，技術(shù)供應(yīng)商總是熱衷于提供最新的分析解決方案，試圖能解決他們的每一個業(yè)務(wù)痛點(diǎn)。我的觀點(diǎn)（許多志同道合、理性思考的人也有與我相同的觀點(diǎn)）是，分析并不是一種技術(shù)，技術(shù)只是在分析活動中起到了推動和賦能作用的策略和方法。分析通常也指能夠識別數(shù)據(jù)之間有業(yè)務(wù)意義的模式和關(guān)系的任何解決方案。分析被用于解析不同規(guī)模的、不同復(fù)雜程度的、結(jié)構(gòu)化和非結(jié)構(gòu)化的、定量或定性的數(shù)據(jù)，以便從中實(shí)現(xiàn)對特定問題的理解、預(yù)測或優(yōu)化的明確目的。所謂高級分析也是分析的子集，它使用復(fù)雜的分析技術(shù)來支持基于事實(shí)的決策過程，而且這種分析通常是以自動化或半自動化的方式開展的。高級分析通常包括數(shù)據(jù)挖掘、計(jì)量經(jīng)濟(jì)建模、預(yù)測、優(yōu)化、預(yù)測建模、模擬、統(tǒng)計(jì)和文本挖掘等技術(shù)。03商業(yè)智能和報表關(guān)于分析與商業(yè)智能的區(qū)別，幾乎沒有形成過共識。有些人將分析歸類為商業(yè)智能的一個子集，而另一些人則把它歸為完全不同的類別。我把商業(yè)智能（BI）定義為：一種管理策略，用來建立一種更有結(jié)構(gòu)性和更有效的決策方法……BI包括報表、查詢、聯(lián)機(jī)分析處理（OLAP）、儀表盤、記分卡甚至分析等常見要素。綜合性術(shù)語BI也可以指獲取、清理、集成和存儲數(shù)據(jù)的過程。有些人會將分析和商業(yè)智能之間的區(qū)別歸納為兩個方面的不同：所使用量化方法（即算法、數(shù)學(xué)、統(tǒng)計(jì)）的復(fù)雜度；所產(chǎn)生結(jié)果是針對歷史已發(fā)生的還是未來將發(fā)生的。也就是說，商業(yè)智能的重點(diǎn)是使用相對簡單的數(shù)學(xué)方法來對歷史數(shù)據(jù)進(jìn)行展示和呈現(xiàn)，而分析則被認(rèn)為是采用更復(fù)雜的計(jì)算邏輯，并且能夠預(yù)測一些特定問題、識別因果關(guān)系、確定最優(yōu)解決方案的方法，有時也被用于指明需要采取的行動與措施。大多數(shù)商業(yè)智能應(yīng)用的局限性并不在于技術(shù)的限制，而在于分析的深度和為行動提供依據(jù)的真正洞察力。例如，告訴我已經(jīng)發(fā)生了什么事情并不能幫助我決定如何行動以改變未來，這樣的結(jié)果往往是通過離線分析（offlineanalysis）得到的。分析的真正責(zé)任是形成可行動的、可操作的洞察力，從而能夠幫助我們了解已經(jīng)發(fā)生的事情（在什么地點(diǎn)發(fā)生，為什么會發(fā)生，在什么條件下發(fā)生），預(yù)測出未來可能發(fā)生什么，以及我們可以做什么來影響和優(yōu)化未來的結(jié)果。請注意，圖1-1中描述的BI儀表盤描述了有關(guān)過去的事實(shí)，如銷售、呼叫量、產(chǎn)品和賬戶，使你很容易獲得組織當(dāng)前銷售狀態(tài)或活動情況的快照?！鴪D1-1商業(yè)智能儀表盤商業(yè)智能和它的近鄰“報表”，都是用來描述有關(guān)現(xiàn)象的信息展示技術(shù)，通常位于數(shù)據(jù)傳遞管道的尾部，在那里可以直觀地訪問數(shù)據(jù)和結(jié)果。而另一方面，分析則超越了對數(shù)據(jù)的描述，它真正理解了這個現(xiàn)象的內(nèi)在規(guī)律，從而來預(yù)測、優(yōu)化和預(yù)判未來應(yīng)采取的適當(dāng)行動。從傳統(tǒng)上看，商業(yè)智能一直存在兩個缺點(diǎn)，這源于它們與這樣的事實(shí)有關(guān)：BI通常專注于建立對過去已經(jīng)發(fā)生事實(shí)的認(rèn)識，因?yàn)樗鼈?cè)重于度量和監(jiān)視，而不是預(yù)測和優(yōu)化；其計(jì)量分析往往不夠復(fù)雜，無法建立足以產(chǎn)生精確洞察力的有意義的改變（雖然正確的報表或可視化展現(xiàn)也可以對改變產(chǎn)生影響，但還不夠精確）。如果把商業(yè)智能與深入的“分析”恰當(dāng)?shù)亟Y(jié)合在一起，而不僅僅停留在對事實(shí)的認(rèn)識，它就更接近分析，但它又往往缺乏高級分析解決方案中經(jīng)常用到的復(fù)雜統(tǒng)計(jì)、數(shù)學(xué)或者“機(jī)器學(xué)習(xí)”方法。因此，我認(rèn)為分析是商業(yè)智能總體框架內(nèi)所包含的概念的一種自然演變。它更加強(qiáng)調(diào)充分開展必要的各種活動，以形成能促進(jìn)行動的真知灼見。分析遠(yuǎn)遠(yuǎn)不止于在自助操作儀表盤或報表界面中所使用的、預(yù)先定義的可視化元素。04大數(shù)據(jù)大數(shù)據(jù)（bigdata）是一種描述不和諧信息的方法，在將數(shù)據(jù)轉(zhuǎn)化為洞察力的過程中，組織必須處理這些難以處理的信息。1997年，MichaelCox和DavidEllsworth首次使用了大數(shù)據(jù)這一表述，他們當(dāng)時提到的“問題”如下：可視化為計(jì)算機(jī)系統(tǒng)提供了一個有趣的挑戰(zhàn)：數(shù)據(jù)集通常相當(dāng)大，占用了大量主內(nèi)存、本地磁盤甚至遠(yuǎn)程磁盤的容量。我們稱之為大數(shù)據(jù)問題。當(dāng)數(shù)據(jù)集大到無法存放在主內(nèi)存（核心存儲器），或者甚至無法存儲在本地磁盤上時，最常見的解決方案是擴(kuò)充并獲取更多的資源。將大數(shù)據(jù)視為一個概念，它突出了這樣一種挑戰(zhàn)：數(shù)據(jù)的規(guī)模和復(fù)雜性超出了傳統(tǒng)數(shù)據(jù)分析方法能夠處理的范圍。我們將大數(shù)據(jù)與傳統(tǒng)的“小”數(shù)據(jù)進(jìn)行對比，包括其容量（我們擁有多少數(shù)據(jù)）、速度（產(chǎn)生與獲得數(shù)據(jù)的快慢）和多樣性（包括數(shù)字、文本、圖像、視頻等多種數(shù)據(jù)形態(tài)）。如果大數(shù)據(jù)是用來描述當(dāng)今信息復(fù)雜性的概念，那么分析就可以幫助我們以主動的方式（預(yù)測性和規(guī)范性）來分析復(fù)雜性，而不是以被動的方式（即商業(yè)智能的范疇）來應(yīng)對。05數(shù)據(jù)科學(xué)與大數(shù)據(jù)相比，定義數(shù)據(jù)科學(xué)顯得不是一件輕而易舉的工作，因?yàn)樵跀?shù)據(jù)科學(xué)的眾多定義中，很少發(fā)現(xiàn)一致的描述。關(guān)于數(shù)據(jù)科學(xué)意味著什么，以及它是否與分析完全不同，目前存在很多爭論。還有一些人，甚至試圖通過討論數(shù)據(jù)科學(xué)家的工作來定義數(shù)據(jù)科學(xué)：數(shù)據(jù)科學(xué)家所需要的技能，他們所扮演的角色，他們所使用的工具和技術(shù)，他們工作的地方，以及他們的教育背景，等等。但這些并沒有對數(shù)據(jù)科學(xué)給出一個有意義的定義。與其按照人（數(shù)據(jù)科學(xué)家）或他們所處理的問題來定義數(shù)據(jù)科學(xué)，不如將其定義如下：數(shù)據(jù)科學(xué)是一門科學(xué)學(xué)科，它利用統(tǒng)計(jì)和數(shù)學(xué)等領(lǐng)域的定量方法以及現(xiàn)代技術(shù)，開發(fā)出用于發(fā)現(xiàn)模式、預(yù)測結(jié)果和為復(fù)雜問題找到最佳解決方案的算法。數(shù)據(jù)科學(xué)和分析的區(qū)別在于，數(shù)據(jù)科學(xué)可以幫助甚至支持自動化實(shí)現(xiàn)對數(shù)據(jù)的分析，但是分析是一種以人為中心的策略，它充分利用各種工具，包括那些在數(shù)據(jù)科學(xué)中發(fā)現(xiàn)的工具，來理解事物現(xiàn)象之間的真正本質(zhì)。數(shù)據(jù)科學(xué)可能是這些概念中涉及面最廣泛的，因?yàn)樗P(guān)系到處理“數(shù)據(jù)”的整個科學(xué)和實(shí)踐。我認(rèn)為數(shù)據(jù)科學(xué)是由計(jì)算機(jī)科學(xué)家設(shè)計(jì)的分析學(xué)，但在實(shí)踐中，數(shù)據(jù)科學(xué)往往側(cè)重于對一般性宏觀問題的研究，而分析往往側(cè)重于解決特定行業(yè)或具體問題的挑戰(zhàn)。06邊緣（和環(huán)境）分析在很多現(xiàn)代企業(yè)，分析是它們的一種核心業(yè)務(wù)活動，這些企業(yè)通過數(shù)據(jù)驅(qū)動和以人為中心的業(yè)務(wù)運(yùn)營與管理流程實(shí)現(xiàn)了數(shù)據(jù)的大眾化（democratizedata）。而邊緣分析（edgeanalytics）一般指的是分布式分析，在這種場景下，分析被內(nèi)置到一些機(jī)器或系統(tǒng)中，通過這種內(nèi)置的方式，信息的生成與收集已經(jīng)成為企業(yè)“下意識”的自主活動。邊緣分析通常與智能設(shè)備相關(guān)，這種情況下，分析計(jì)算是在數(shù)據(jù)收集點(diǎn)（例如設(shè)備、傳感器、網(wǎng)絡(luò)交換機(jī)或其他設(shè)備）開展的，與傳統(tǒng)的數(shù)據(jù)管道傳輸方式（即采集數(shù)據(jù)、傳輸數(shù)據(jù)、清洗數(shù)據(jù)、集成數(shù)據(jù)、存儲數(shù)據(jù)）不同，邊緣分析把分析嵌入到收集數(shù)據(jù)的設(shè)備中完成或就近實(shí)現(xiàn)。數(shù)據(jù)大眾化所謂數(shù)據(jù)大眾化，指的是數(shù)據(jù)開放，使每個能夠而且應(yīng)該能夠獲得數(shù)據(jù)的人都有權(quán)通過工具來探索獲取這些數(shù)據(jù)，而不是將數(shù)據(jù)局限于少數(shù)特權(quán)群體。例如，傳統(tǒng)的信用卡欺詐檢測依賴于機(jī)器（例如讀卡器），并通過與授權(quán)“代理”的連接發(fā)送請求來驗(yàn)證一個交易，算法需要在極短的時間內(nèi)（百分之一毫秒）對此交易完成授權(quán)或打上欺詐標(biāo)簽，最后，讀卡設(shè)備接收授權(quán)指令后完成或拒絕交易操作。在邊緣分析中，算法將運(yùn)行在儀器本身上（比如帶有嵌入式分析的智能芯片讀卡器）。邊緣分析通常與物聯(lián)網(wǎng)（IoT）聯(lián)系在一起。最近IDC在針對物聯(lián)網(wǎng)IoT未來視界（FutureScape）的一份報告中提出，到2018年，40%的物聯(lián)網(wǎng)數(shù)據(jù)將在網(wǎng)絡(luò)中產(chǎn)生數(shù)據(jù)的邊緣完成數(shù)據(jù)的存儲、處理、分析和響應(yīng)。隨著物聯(lián)網(wǎng)的發(fā)展，我們很可能會看到未來對所謂的“萬物分析”（AnalyticsofThings，AoT）有更多的關(guān)注，它指的是分析將給物聯(lián)網(wǎng)數(shù)據(jù)帶來獨(dú)特價值的機(jī)會。環(huán)境分析（ambientanalytics）是另一個相關(guān)的術(shù)語，它的名字意味著“分析無處不在”。就像房間的燈光或音響常常不被注意，但卻為舞臺構(gòu)建了氛圍一樣，環(huán)境分析也會影響我們工作和娛樂的環(huán)境。我們看到環(huán)境智能正在日常生活場景中發(fā)揮作用，比如檢測血糖水平和注射胰島素。同樣，當(dāng)你回到住家附近時，家居自動化設(shè)備檢測到相應(yīng)信息，會自動調(diào)整溫度和打開照明。環(huán)境分析超越了基于簡單規(guī)則的決策，它利用算法來決定合適的行動路線。毫無疑問，邊緣和環(huán)境分析將繼續(xù)挑戰(zhàn)傳統(tǒng)的以人為中心的管理方式與流程，傳統(tǒng)管理方式下，使用分析結(jié)果（如對分析的理解、決策和采取的行動）以人為主，而在邊緣和環(huán)境分析中會有越來越多的（不需要人工介入的）自主決策與執(zhí)行。07信息學(xué)信息學(xué)（informatics）是信息技術(shù)和信息管理的交叉學(xué)科。在實(shí)踐中，信息學(xué)涉及用于數(shù)據(jù)存儲和檢索的處理技術(shù)。從本質(zhì)上講，信息學(xué)討論信息是如何管理的，指的是支持流程化工作流的系統(tǒng)和數(shù)據(jù)生態(tài)系統(tǒng)，而不是對其中發(fā)現(xiàn)的數(shù)據(jù)進(jìn)行分析。在信息科學(xué)中經(jīng)常談到的健康信息學(xué)，它專門用于保健醫(yī)療研究，是介于健康信息技術(shù)和健康信息管理之間的一種專業(yè)技術(shù)，它將信息技術(shù)、通信和保健融合起來，以提高病人護(hù)理的質(zhì)量和安全性。它位于人、信息和技術(shù)三者交匯處的中心。保健政策是指在一個社會中為實(shí)現(xiàn)特定的保健目標(biāo)而采取的決定、計(jì)劃和行動。保健政策制定者希望看到醫(yī)療保健變得更經(jīng)濟(jì)、更安全、更高質(zhì)量，信息技術(shù)和健康信息技術(shù)往往是實(shí)現(xiàn)這一目標(biāo)的重要手段。事實(shí)上，其中一項(xiàng)最必不可少的工作是正確定位數(shù)據(jù)資源，使之能提供每個患者360度的完整健康狀況信息視圖，只有數(shù)據(jù)共享才能做到這一點(diǎn)（見圖1-2）?！鴪D1-2健康信息管理、健康信息技術(shù)和信息學(xué)之間的區(qū)別分析集成了所有這些概念，并依賴于底層數(shù)據(jù)、支持技術(shù)和信息管理過程來實(shí)現(xiàn)這一目標(biāo)。08人工智能與認(rèn)知計(jì)算