大數(shù)據(jù)與建模

大數(shù)據(jù)大數(shù)據(jù)與建模1SQL用于訪問(wèn)和處理數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)的計(jì)算機(jī)語(yǔ)言。用來(lái)訪問(wèn)和操作數(shù)據(jù)庫(kù)系統(tǒng)。SQL語(yǔ)句用于取回和更新數(shù)據(jù)庫(kù)中的數(shù)據(jù)。SQL可與數(shù)據(jù)庫(kù)程序系統(tǒng)工作比如MS DB2，Infermix，MSSQLServer，Oracle，Sybase以及其他數(shù)據(jù)庫(kù)系統(tǒng)SQL可以面向數(shù)據(jù)庫(kù)執(zhí)行查詢從數(shù)據(jù)庫(kù)取回?cái)?shù)據(jù)在數(shù)據(jù)庫(kù)中插入新的記錄更新數(shù)據(jù)庫(kù)中的數(shù)據(jù)從數(shù)據(jù)庫(kù)刪除記錄創(chuàng)建新數(shù)據(jù)庫(kù)在數(shù)據(jù)庫(kù)中創(chuàng)建新表在數(shù)據(jù)庫(kù)中創(chuàng)建存儲(chǔ)過(guò)程在數(shù)據(jù)庫(kù)中創(chuàng)建視圖和設(shè)置表存儲(chǔ)過(guò)程和視圖的權(quán)限等。Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是Hadoop是以一種可靠高效可伸縮的方式進(jìn)行處理的。Hadoop是可好的因?yàn)樗僭O(shè)計(jì)算單元和存戶會(huì)失敗因此他維護(hù)多個(gè)工作數(shù)據(jù)副本確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度Hadoop還是可伸縮的能夠處理PB級(jí)數(shù)據(jù)此外依賴于社區(qū)服務(wù)器，因此他的成本較低，任何人都可以使用。 3、HPCC（highperformance computinggand1993年，由美國(guó)科學(xué)、工程技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)向國(guó)會(huì)提交“重大挑戰(zhàn)項(xiàng)目高性能計(jì)算與通信的報(bào)告，也就是被稱為HPCC計(jì)劃的報(bào)告及美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目其目的是通過(guò)加強(qiáng)研究與開(kāi)發(fā)解決一批重要的科學(xué)與HPCC是美國(guó)實(shí)施信息高速公Strom是自由的開(kāi)源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Strom于處理HadoopStrom很簡(jiǎn)單，支持許多種編程語(yǔ)言，使用起來(lái)非常有趣。StromTwitter開(kāi)元而來(lái)，其他知名的應(yīng)用企業(yè)包括Groupon、淘寶、支付寶、阿里巴巴、樂(lè)AdmasterStrom有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、不停頓的計(jì)算，分布式RPC（員過(guò)程調(diào)用協(xié)議，一種通過(guò)網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù)ETL（Extraction Transformation Lcading的縮寫(xiě)，即數(shù)據(jù)抽取、轉(zhuǎn)換和加載）等等。Strom的處理速度驚人經(jīng)測(cè)試每個(gè)節(jié)點(diǎn)每秒鐘可以處理100萬(wàn)個(gè)數(shù)據(jù)元組。Strom是可擴(kuò)展、容錯(cuò)，很容易設(shè)置和操作。 5、Rapidminer是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛包括各種數(shù)據(jù)以叔能簡(jiǎn)化數(shù)據(jù)挖掘過(guò)程的涉及和評(píng)價(jià)功能和特點(diǎn)免費(fèi)提供數(shù)據(jù)挖掘技術(shù)和庫(kù)；100%用JAVA代碼（可運(yùn)行在操作系統(tǒng)數(shù)據(jù)挖掘過(guò)程簡(jiǎn)單，強(qiáng)大和直觀；內(nèi)部XML保證了標(biāo)準(zhǔn)化的格式來(lái)表示交換數(shù)據(jù)挖掘過(guò)程可以用簡(jiǎn)單腳本語(yǔ)言自動(dòng)進(jìn)行大規(guī)模進(jìn)程多層次的數(shù)據(jù)視圖確保有效和透明的數(shù)據(jù)圖形用戶界面的互動(dòng)原型；命令行（批處理模式）自動(dòng)大規(guī)模JAVAAI

應(yīng)用編程接口；簡(jiǎn)單的插件和推廣機(jī)制；強(qiáng)大的可視化引擎，許多尖端的高位數(shù)據(jù)的可視化建模過(guò)個(gè)數(shù)據(jù)挖掘運(yùn)營(yíng)商支持。6Pentaho BI平臺(tái)不同于傳統(tǒng)的BI產(chǎn)品，他是一個(gè)以流程為中心的，面向解決方案（Soiution）的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開(kāi)源軟件、API等等組件集成起來(lái)方便商務(wù)智能應(yīng)用的開(kāi)發(fā)它的出現(xiàn)使得一些列的面向商務(wù)智能的獨(dú)立產(chǎn)品如Free\Quartz等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的完整的商務(wù)智能解決方案Pentaho SDK 共包含五個(gè)部分：Pentaho 平臺(tái)、Pentaho 示例數(shù)據(jù)庫(kù)、可獨(dú)立運(yùn)行的Pentaho 平臺(tái)、Pentaho 解決方案示例和一個(gè)預(yù)先配置好的Pentaho 網(wǎng)絡(luò)服務(wù)器。其中Pentaho 平臺(tái)是Pentaho 平臺(tái)最主要的部分，囊括了Pentaho 平臺(tái)源代碼的主題。什么是PowerBI？PowerBI是軟件服務(wù)、應(yīng)用和連接器的集合他們協(xié)同工作以將相關(guān)數(shù)據(jù)來(lái)源轉(zhuǎn)換為連貫的視覺(jué)逼真的交互式見(jiàn)解無(wú)論你的數(shù)據(jù)是簡(jiǎn)單的Excel電子表格還是基于云和本地混合數(shù)據(jù)倉(cāng)庫(kù)的集合，PowerBI都可以讓你輕松地連接到數(shù)據(jù)源直觀看（或發(fā)現(xiàn)）重要內(nèi)容，與任何所希望的人進(jìn)行共享。Power BI 的組成部分：Power BI 包含Windows 桌面應(yīng)用程序（稱為PowerBI Desktop、聯(lián)機(jī)SAAS（軟件及服務(wù)）服（稱為PowerBI服務(wù)及移動(dòng)PowerBI應(yīng)（可在Windows手機(jī)和平板電腦及IOS和Android 設(shè)備上使用）。這三個(gè)元素、Desktop、服務(wù)和移動(dòng)，旨在使用戶通過(guò)最有效的方式創(chuàng)建共享和使用商業(yè)見(jiàn)解。PowerBI的操作一般流程：1、將數(shù)據(jù)導(dǎo)入PowerBI 并創(chuàng)建報(bào)表2發(fā)布到PowerBI服務(wù)，你可在該服務(wù)中創(chuàng)建新的可視化效果或構(gòu)建儀表板。3、與他人（尤其是差旅人員）共享你的儀表板4、在PowerBI Desktop應(yīng)用中查看共享儀表板和報(bào)表并與其交互。PowerBI的基本構(gòu)建模塊：可視化效果有時(shí)稱之為視覺(jué)對(duì)象是數(shù)據(jù)的可視化表示形成，例如圖標(biāo)、圖形、彩色編碼地圖或其他你可創(chuàng)建用以直觀呈現(xiàn)你的數(shù)據(jù)的有趣事物。數(shù)據(jù)集BI用來(lái)創(chuàng)建其可視化效果的數(shù)據(jù)集合，基于EXCEL工作簿中的單個(gè)表你可以有一個(gè)簡(jiǎn)單的數(shù)據(jù)集數(shù)PowerBI中的唯一集合數(shù)據(jù)。報(bào)表：在PowerBI中，報(bào)表是一就想你可能會(huì)對(duì)銷售演示文稿創(chuàng)建的任何其PowerBI中，報(bào)表是批次相關(guān)的項(xiàng)目的集BI儀表板非常類似與汽PowerBI中，磁貼是BI中創(chuàng)建報(bào)表或儀表板時(shí)，可以以任何你想要呈現(xiàn)信息的方式來(lái)穎或排列磁貼。PowerBI高顏值、可交互、鉆取的儀表板；PowerQuery的格式整理出來(lái)。通過(guò)PowerQuery我們可以快速將多個(gè)數(shù)據(jù)源的數(shù)據(jù)合并追加到一起任意組合數(shù)據(jù)將數(shù)據(jù)進(jìn)行分組透視等