財務大數(shù)據(jù)分析與可視化課件 項目1 商務智能基礎

商務智能基礎項目一添加標題在此PART01添加相關標題文字添加相關標題文字相關標題文字學習目標汪剛制作添加標題在此PART01添加相關標題文字添加相關標題文字相關標題文字項目導圖汪剛制作情境案例

2015年前后，中國民生銀行（以下簡稱“民生銀行”）“阿拉丁”平臺誕生，它是信息管理部提供的一個海量數(shù)據(jù)查詢、展示、交互、分析的整體解決方案。“阿拉丁”平臺上線以來，分行業(yè)務人員基于此平臺產(chǎn)生了很多有價值的經(jīng)典案例“阿拉丁”平臺上線后，一線財務人員通過Smartbi分析工具將轉賬交易情況做了一個簡單的歸類，發(fā)現(xiàn)有些客戶存在一個很有意思的情況，就是每個月定期往其他銀行賬號上轉錢，而且轉賬金額基本差不多。經(jīng)過抽樣了解發(fā)現(xiàn)，這些客戶都是中小企業(yè)的會計，他們每月定期通過民生銀行給自己的員工發(fā)工資。業(yè)務人員通過數(shù)據(jù)分析和挖掘，積極開展精準營銷，為銀行帶來了大量工資卡客戶。這些都是業(yè)務人員通過開放的“阿拉丁”平臺接觸到數(shù)據(jù)之后，利用自身的業(yè)務經(jīng)驗，再結合數(shù)據(jù)工具創(chuàng)造出的價值。目前，“阿拉丁”平臺已經(jīng)為民生銀行培養(yǎng)了近千人規(guī)模的數(shù)據(jù)分析挖掘團隊，使得更多一線業(yè)務人員貢獻業(yè)務經(jīng)驗，形成了更大的數(shù)據(jù)分析產(chǎn)品群落，最終獲得效益的提升。案例來源：中國民生銀行和Smartbi官方網(wǎng)站。汪剛制作1商業(yè)智能基礎2數(shù)據(jù)類型和財務大數(shù)據(jù)3常見數(shù)據(jù)分析模型4主目錄4常見數(shù)據(jù)分析方法汪剛制作45可視化基礎商業(yè)智能基礎任務一汪剛制作子任務一商業(yè)智能的定義提出：Gartner的分析師

HowardDresner1996年提出商業(yè)智能描述了一系列的概念和方法，應用基于數(shù)據(jù)的分析系統(tǒng)輔助商業(yè)決策的制定。商業(yè)智能技術為企業(yè)提供了迅速收集、分析數(shù)據(jù)的技術和方法，把這些數(shù)據(jù)轉化為有用的信息，提高企業(yè)決策的質量。汪剛制作子任務一商業(yè)智能的定義企業(yè)界：Microsoft認為：商業(yè)智能是任何嘗試獲取、分析企業(yè)數(shù)據(jù)以便更清楚地了解市場和顧客，改進企業(yè)流程，更有效地參與競爭的過程。商業(yè)智能是下列軟件工具的集合：終端用戶查詢和報告工具、在線分析處理工具、數(shù)據(jù)挖掘軟件、數(shù)據(jù)集市、數(shù)據(jù)倉庫產(chǎn)品和主管信息系統(tǒng)。Oracle認為：商業(yè)智能是一種商務戰(zhàn)略，能夠持續(xù)不斷地對企業(yè)經(jīng)營理念、組織結構和業(yè)務流程進行重組，實現(xiàn)以顧客為中心的自動化管理。SAP認為：商業(yè)智能是收集、存儲、分析和訪問數(shù)據(jù)以幫助企業(yè)更好決策的技術。IBM認為：商業(yè)智能是一系列技術支持的簡化信息收集、分析的策略集合。IDC認為：商務智能是下列軟件工具的集合終端用戶查詢和報告工具，在線分析處理工具，數(shù)據(jù)挖掘軟件，數(shù)據(jù)，集市數(shù)據(jù)倉庫，產(chǎn)品和主管信息系統(tǒng)。帆軟認為：商業(yè)智能是利用數(shù)據(jù)倉庫、數(shù)據(jù)可視化與分析技術，將指定的數(shù)據(jù)轉化為信息和知識的解決方案，其價值體現(xiàn)為滿足企業(yè)不同人群對數(shù)據(jù)查詢、分析和探索的需求，使企業(yè)實現(xiàn)對業(yè)務的監(jiān)測和洞察，從而支撐企業(yè)管理決策，提升企業(yè)管理水平，提高企業(yè)業(yè)務運營效率，改進優(yōu)化企業(yè)業(yè)務。汪剛制作子任務一商業(yè)智能的定義定義：商業(yè)智能是融合了先進信息技術與創(chuàng)新管理理念的結合體，集成了企業(yè)內(nèi)外的數(shù)據(jù)，加工處理并從中提取能夠創(chuàng)造商業(yè)價值的信息和知識，面向企業(yè)戰(zhàn)略并服務于管理層、業(yè)務層，指導企業(yè)經(jīng)營決策，提升企業(yè)競爭力；商業(yè)智能不僅是指一套技術，更是一套完整的解決方案；商業(yè)智能的本質就是數(shù)據(jù)智能。汪剛制作子任務二商業(yè)智能的系統(tǒng)構架汪剛制作子任務二商業(yè)智能的系統(tǒng)構架數(shù)據(jù)獲取層從數(shù)據(jù)來源看企業(yè)內(nèi)部：財務系統(tǒng)、采購系統(tǒng)、銷售系統(tǒng)、生產(chǎn)系統(tǒng)等ERP系統(tǒng)的數(shù)據(jù)、辦公自動化OA的數(shù)據(jù)等；企業(yè)外部：政策數(shù)據(jù)、市場數(shù)據(jù)、行業(yè)數(shù)據(jù)、競爭對手的數(shù)據(jù)、各類統(tǒng)計數(shù)據(jù)等；從數(shù)據(jù)存儲結構上看結構化數(shù)據(jù)：以二維表格形式存儲的數(shù)據(jù)；非機構化數(shù)據(jù)：所有格式的辦公文檔、文本、圖片、音頻和視頻文件等；從數(shù)據(jù)存儲形式上看分為.xls文件、.txt文件、.csv文件、各類數(shù)據(jù)庫文件等；BI系統(tǒng)獲取數(shù)據(jù)后，還要經(jīng)過數(shù)據(jù)清洗即ETL(Extract-Transform-Load)操作。ETL是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、轉換之后加載到數(shù)據(jù)倉庫的過程；子任務二商業(yè)智能的系統(tǒng)構架數(shù)據(jù)管理層數(shù)據(jù)倉庫，英文名稱為DataWarehouse，可簡寫為DW。數(shù)據(jù)倉庫是面向主題的，數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織；數(shù)據(jù)倉庫是集成的，數(shù)據(jù)倉庫的數(shù)據(jù)有來自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來的數(shù)據(jù)中抽取出來，進行加工與集成，統(tǒng)一與綜合之后才能進入數(shù)據(jù)倉庫；數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢；數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息；元數(shù)據(jù)（MetaData）是關于數(shù)據(jù)倉庫的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設過程中所產(chǎn)生的有關數(shù)據(jù)源定義，目標定義，轉換規(guī)則等相關的關鍵數(shù)據(jù)；元數(shù)據(jù)還包含關于數(shù)據(jù)含義的商業(yè)信息，所有這些信息都應當妥善保存，并很好地管理。為數(shù)據(jù)倉庫的發(fā)展和使用提供方便。汪剛制作子任務二商業(yè)智能的系統(tǒng)構架數(shù)據(jù)分析層聯(lián)機分析處理：OLAP(OnlineAnalyticalProcessing)

OLAP是以海量數(shù)據(jù)為基礎的復雜分析技術；它支持各級管理決策人員從不同的角度、快速靈活地對數(shù)據(jù)倉庫中的數(shù)據(jù)進行復雜查詢和多維分析處理，并且能以直觀易懂的形式將查詢和分析結果展現(xiàn)給決策人員；OLAP使用的邏輯數(shù)據(jù)模型為多維數(shù)據(jù)模型；OLAP是驗證型的分析工具；數(shù)據(jù)挖掘：DM（Datamining）數(shù)據(jù)挖掘是從海量數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又可能有用的信息和知識的過程；數(shù)據(jù)挖掘的數(shù)據(jù)有多種來源，包括數(shù)據(jù)倉庫、數(shù)據(jù)庫或其他數(shù)據(jù)源；數(shù)據(jù)挖掘是預測型的分析工具；汪剛制作子任務二商業(yè)智能的系統(tǒng)構架數(shù)據(jù)展示層數(shù)據(jù)展示層主要是通過可視化技術將分析內(nèi)容以各種圖表的方式展示出來；供企業(yè)決策人員、管理人員、分析人員、業(yè)務人員等相關人員進行洞察和決策；可視化技術是以計算機圖形學、以圖像處理技術為基礎，將數(shù)據(jù)轉換為圖形或圖像形式，顯示到屏幕上，并進行交互處理的理論方法和技術。它涉及計算機視覺圖像處理，計算機輔助設計，計算機圖形學等多個領域，并逐漸成為一種研究數(shù)據(jù)表示數(shù)據(jù)，綜合處理決策分析的問題的綜合技術；數(shù)據(jù)分析的內(nèi)容包括利潤分析、收入分析、成本分析、資產(chǎn)分析、運營分析、投融資分析等。企業(yè)數(shù)據(jù)分析需要展示哪些指標和內(nèi)容，與企業(yè)戰(zhàn)略、經(jīng)營管理需要有密切關系。汪剛制作子任務三商業(yè)智能的價值增強業(yè)務洞察能力優(yōu)化企業(yè)營銷策略提高市場響應能力加強風險管理能力改善客戶關系管理汪剛制作子任務三商業(yè)智能的價值啤酒和尿布的故事這是發(fā)生在美國沃爾瑪連鎖超市的真實案例，并一直為商家所津津樂道。沃爾瑪擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng)，為了能夠準確了解顧客在其門店的購買習慣，沃爾瑪對其顧客的購物行為進行購物籃分析。沃爾瑪數(shù)據(jù)倉庫里集中了其各門店的詳細原始交易數(shù)據(jù)。在這些原始交易數(shù)據(jù)的基礎上，沃爾瑪利用數(shù)據(jù)挖掘方法對這些數(shù)據(jù)進行分析和挖掘。一個意外的發(fā)現(xiàn)是："跟尿布一起購買最多的商品竟是啤酒！經(jīng)過大量實際調查和分析，揭示了一個隱藏在"尿布與啤酒"背后的美國人的一種行為模式：在美國，一些年輕的父親下班后經(jīng)常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒。產(chǎn)生這一現(xiàn)象的原因是：美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了他們喜歡的啤酒。這是著名的“啤酒和尿布的故事”，沃爾瑪正式根據(jù)這一發(fā)現(xiàn)，及時調整營銷策略，在尿布旁邊擺放啤酒，從而大大增加了兩種商品的銷售收入。汪剛制作子任務五商業(yè)智能核心技術汪剛制作1、數(shù)據(jù)抽?。‥-Extract）目的：與決策相關的數(shù)據(jù)；考慮：（1）確定源數(shù)據(jù)及其含義；（2）進行數(shù)據(jù)抽取，確定訪問哪些數(shù)據(jù)庫、文件和表；（3）確定抽取頻率；（4）確定抽取數(shù)據(jù)保存的位置；（5）無法抽取時的異常處理；2、數(shù)據(jù)轉換（T-Transform）目的：數(shù)據(jù)分析需要的、完整的、準確的目標數(shù)據(jù)；方法：（1）缺失值的處理；（2）錯誤值的處理；（3）重復值的處理；（4）不一致性數(shù)據(jù)；3、數(shù)據(jù)加載（L-LOAD）目的：將清洗和轉換后的、符合數(shù)據(jù)分析要求的數(shù)據(jù)加載到數(shù)據(jù)倉庫中；方法：（1）直接追加；（2）全面覆蓋；ETL技術子任務四商業(yè)智能核心技術汪剛制作數(shù)據(jù)倉庫技術概念模型010203邏輯模型物理模型子任務四商業(yè)智能核心技術汪剛制作數(shù)據(jù)倉庫技術邏輯模型分類：星型模型和雪花模型；構成：事實表和維度表組成；星型模型：事實表可連接多種維度表，維度表只有一層。維度表和事實表必須有能夠關聯(lián)的字段。左圖中：采購訂單表是事實表，包含企業(yè)實際的全部采購訂單數(shù)據(jù)，通常記錄數(shù)很多；而日期表、商品表、物流表、供應商表等都是維度表，其中的數(shù)據(jù)作為分析的維度，而且數(shù)據(jù)量不會很多；雪花模型：星型模型的擴展，事實表的外部有多層維度表；子任務四商業(yè)智能核心技術汪剛制作聯(lián)機分析處理技術（OnlineAnalyticalProcessing，OLAP），多維數(shù)據(jù)分析數(shù)據(jù)立方體切片（Slice）切塊（Dice）鉆?。―rill-down）上卷（Roll-up）旋轉（Pivot）子任務五自助式商業(yè)智能分析工具分類商業(yè)智能工具特點國外PowerBI微軟官方推出的可視化數(shù)據(jù)探索和交互式報告工具；PowerBI應用包含：PowerBIDesktop、PowerBIOnline-Service、PowerBIMobile。其中桌面應用程序PowerBIDesktop為免費版；TableauTableau成立于2003年，是斯坦福大學一個計算機科學項目的成果；Tableau在2019年被Salesforce收購，但使命不變：幫助人們查看并理解自己的數(shù)據(jù)；Tableau家族產(chǎn)品：TableauDesktop、TableauServer、TableauOnline、TableauPublic和TableauReader；國內(nèi)FineBIFineBI是帆軟軟件有限公司推出的一款商業(yè)智能(BusinessIntelligence)產(chǎn)品；FineBI的系統(tǒng)構架包括四部分：（1）數(shù)據(jù)處理；（2）即時分析；（3）多維度分析；（4）Dashboard；SmartBISmartBI是思邁特軟件公司旗下產(chǎn)品。思邁特軟件成立于2011年，致力于為企業(yè)客戶提供一站式商業(yè)智能解決方案;其產(chǎn)品系列主要包括:（1）大數(shù)據(jù)分析平臺;（2）數(shù)據(jù)化運營平臺;（3）大數(shù)據(jù)挖掘平臺;（4）SaaS分析云平臺;汪剛制作數(shù)據(jù)類型和財務大數(shù)據(jù)任務二汪剛制作數(shù)據(jù)類型和財務大數(shù)據(jù)大數(shù)據(jù)維基百科：“大數(shù)據(jù)”(BigData)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息；大數(shù)據(jù)具有4V特征:規(guī)模性(Volume)、高速性(Velocity)、多樣性(Variety)、價值性(Value)。根據(jù)IDC發(fā)布的《數(shù)字化世界，從邊緣到核心》白皮書，2018~2025年全球數(shù)據(jù)量將增長5倍以上，IDC預測全球數(shù)據(jù)量將從2018年的33ZB增至2025年的175ZB。汪剛制作子任務一數(shù)據(jù)類型按結構屬性分類結構化數(shù)據(jù)：二維表結構（EXCEL、SQL數(shù)據(jù)庫）非結構化數(shù)據(jù)：文本、音頻、視頻、網(wǎng)頁按連續(xù)性特征分類連續(xù)型數(shù)據(jù)：身高、體重離散型數(shù)據(jù)：職稱、學歷按數(shù)據(jù)的測量尺度分類定類數(shù)據(jù)：類別、無序；制造業(yè)、金融業(yè)；定序數(shù)據(jù)：類別、有序；高中、本科、碩士、博士；定距數(shù)據(jù)：數(shù)值，無絕對零點，可加減、不可乘除；20℃比10℃高10℃；定比數(shù)據(jù)：數(shù)值，有絕對零點，可加減、可乘除；體重60公斤是30公斤的2倍；

小知識：MECE原則MECE原則（MutuallyExclusiveCollectivelyExhaustive），意思是“相互獨立，完全窮盡”，是麥肯錫咨詢顧問芭芭拉·明托在《金字塔原理》中提出的一個思考工具。在分析問題時，把整體層層分解為要素的過程中，要遵循“相互獨立，完全窮盡”的基本法則，確保每一層的要素之間“不重疊，不遺漏”。MECE原則是一種簡潔有力的、透過結構看世界的思考工具，是“結構化思維”的基本功。SWOT分析、波特五力模型、波士頓矩陣、平衡計分卡等都是基于“結構化思維”，建立在MECE原則基礎之上的戰(zhàn)略分析工具。汪剛制作子任務二財會大數(shù)據(jù)1、企業(yè)內(nèi)部ERP系統(tǒng)或會計信息系統(tǒng)中的財務、業(yè)務數(shù)據(jù)；用友ERP-U8系統(tǒng)、金蝶K3系統(tǒng)、SAP系統(tǒng)等；ACCESS數(shù)據(jù)庫、SOLSERVER數(shù)據(jù)庫、ORACLE數(shù)據(jù)庫、EXCEL文件；2、企業(yè)外部（1）結構化數(shù)據(jù)來源國家統(tǒng)計局發(fā)布的宏觀經(jīng)濟數(shù)據(jù)：中國人民銀行發(fā)布的金融統(tǒng)計數(shù)據(jù)：財政部定期公布的財政數(shù)據(jù)：證券市場交易信息：/market財經(jīng)網(wǎng)站公布的財務數(shù)據(jù)：/金融數(shù)據(jù)庫：Wind數(shù)據(jù)庫、銳思數(shù)據(jù)庫、CSMAR數(shù)據(jù)庫等（這些數(shù)據(jù)庫需購買方可使用）（2）非結構化數(shù)據(jù)來源上市公司公告信息：/交易所公告：/其他：行政法規(guī)、處罰公告、法律文書等；汪剛制作常見數(shù)據(jù)分析模型任務三汪剛制作明確分析思路汪剛制作子任務一SWOT分析企業(yè)戰(zhàn)略分析四部分內(nèi)部：優(yōu)勢（Strengths）；劣勢（Weaknesses）；外部：機會（Opportunities）；威脅（Threats）；策略：增長型戰(zhàn)略扭轉型戰(zhàn)略防御型戰(zhàn)略多種經(jīng)營戰(zhàn)略汪剛制作子任務二PEST分析外部宏觀環(huán)境分析四部分：政治（Political）經(jīng)濟（Economic）社會（Social）技術（Technological）汪剛制作子任務三波特五力分析模型外部微觀環(huán)境分析邁克爾·波特（MichaelPorter）于20世紀80年代初提出五種基本競爭力量：供應商的議價能力；購買者的議價能力；潛在競爭者進入的能力；替代品的替代能力；行業(yè)內(nèi)競爭者現(xiàn)在的競爭能力；汪剛制作子任務四4Ps模型市場營銷分析杰羅姆·麥卡錫（McCarthy）于1960年在其《基礎營銷》總結了營銷組合要素四要素：產(chǎn)品（Product）；價格（Price）；渠道（Place）；促銷（Promotion）；汪剛制作子任務五5W2H模型客戶行為分析、業(yè)務問題專題分析，營銷活動等；時間、地點、人物、事件、原因、方式方法、程度7個要素：為什么（Why）；什么事（What）；誰（Who）；什么時候（When）；什么地方（Where）；如何做（How）；什么價格（Howmuch）；汪剛制作子任務六RFM模型客戶綜合評價；RFM模型三個維度：R（Recency）：最近一次消費；F（Frequency）：消費頻率；M（Monetary）：消費金額；計算RFM值，評估用戶價值汪剛制作子任務七AARRR模型客戶生命周期；DaveMcClure2007提出的，核心就是AARRR漏斗模型；五個階段Acquisition[獲取]；Activation[激活]；Retention[存留]；Revenue[收益]；Referral[推薦]；汪剛制作子任務八邏輯樹模型分析問題、解決問題的重要方法；邏輯樹又稱為問題數(shù)，演繹樹或者分解樹；麥肯錫提出；作用：一是邏輯樹能理清思路，避免進行重復和無關的思考；二是能保證解決問題過程的完整性；三是邏輯樹能將工作細分，確定各部分的優(yōu)先順序，把責任明確到具體單位；汪剛制作常見數(shù)據(jù)分析方法任務四汪剛制作汪剛制作常見數(shù)據(jù)分析方法1.基礎分析法（1）對比分析法時間標準目標標準企業(yè)標準行業(yè)標準（2）結構分析法（3）描述分析法（4）分組分析法（5）多維分析法（6）預測分析法（7）象限分析法汪剛制作常見數(shù)據(jù)分析方法2.高級分析法描述性統(tǒng)計分析；相關分析；回歸分析；時間序列分析；假設檢驗；方差分析；可視化技術基礎任務五汪剛制作數(shù)據(jù)可視化定義人類從外界獲取信息83%來自視覺，11%來自聽覺，6%來自其他；數(shù)據(jù)可視化，就是將工作中處理的各類數(shù)據(jù)映射為視覺模式，來探索、解釋隱藏在數(shù)據(jù)背后的信息，在保證信息傳遞的基礎上尋求美感，用數(shù)