大數(shù)據(jù)管理與應(yīng)用概論 課件 2.5 大數(shù)據(jù)項目管理

2.5大數(shù)據(jù)項目管理大數(shù)據(jù)項目管理大數(shù)據(jù)要在組織管理與決策中發(fā)揮作用，核心問題是需要采取哪些步驟來確保數(shù)據(jù)項目能夠從規(guī)劃階段成功走到執(zhí)行階段。要實現(xiàn)數(shù)據(jù)落地應(yīng)用的目的，獲取數(shù)據(jù)分布式處理技術(shù)能力以及系統(tǒng)架構(gòu)專業(yè)知識固然重要，大數(shù)據(jù)項目相關(guān)的因素也同樣重要，而這些因素往往在探索新技術(shù)的過程中被忽視。因素一：結(jié)合企業(yè)戰(zhàn)略，理解問題因素二：選擇適合的軟件解決方案因素三：分析并應(yīng)對項目風(fēng)險因素四：組建大數(shù)據(jù)項目團隊因素五：實現(xiàn)健壯、可維護的架構(gòu)和解決方案大數(shù)據(jù)項目管理的類型了解組織要構(gòu)建什么，以及在設(shè)計可靠的解決方案時需要考慮哪些主要因素，是任何數(shù)據(jù)項目取得成功的基本條件。大數(shù)據(jù)項目主要包括如下三種類型。數(shù)據(jù)項目類型數(shù)據(jù)項目任務(wù)數(shù)據(jù)管道和數(shù)據(jù)暫存類項目大數(shù)據(jù)的提取-轉(zhuǎn)換-加載型項目。涉及對數(shù)據(jù)的收集、暫存、存儲等，其目的是為后續(xù)數(shù)據(jù)處理和分析提供基礎(chǔ)。數(shù)據(jù)的處理和分析類項目目的是為企業(yè)提供有價值的決策支持，如生成報告、開發(fā)機器學(xué)習(xí)模型和算法等。應(yīng)用程序開發(fā)類項目提供能夠?qū)崟r支持業(yè)務(wù)需求的數(shù)據(jù)框架，例如Web應(yīng)用程序或移動應(yīng)用程序的數(shù)據(jù)后端等。大數(shù)據(jù)項目成功的關(guān)鍵特征實施大數(shù)據(jù)項目的初衷通常是利用大數(shù)據(jù)更好地支撐管理決策。因此，成功的大數(shù)據(jù)項目通常具有如下特征：項目目標清晰。與企業(yè)戰(zhàn)略目標和運營模式相一致、內(nèi)部認識統(tǒng)一。項目規(guī)劃完善。項目實施之前對項目功能規(guī)劃清晰，對項目實施進程嚴格把控。技術(shù)選擇合適。技術(shù)并非越先進越好，適合企業(yè)的技術(shù)才是最好的技術(shù)。員工技能合格。員工專業(yè)知識和能力符合大數(shù)據(jù)項目的要求。示范效果良好。大數(shù)據(jù)項目發(fā)揮作用是一個逐步推進的過程。在特定應(yīng)用中取得顯著效果，有助于后續(xù)項目推進。大數(shù)據(jù)項目失敗的原因大數(shù)據(jù)項目與企業(yè)戰(zhàn)略脫節(jié)。企業(yè)大數(shù)據(jù)項目沒有明確的目標，沒有把大數(shù)據(jù)項目與企業(yè)戰(zhàn)略和運營模式有機融合。大數(shù)據(jù)商業(yè)用例不明確。大數(shù)據(jù)項目要實現(xiàn)的功能不明確，需要為企業(yè)提供哪些決策支持、需要哪些數(shù)據(jù)、需要構(gòu)建怎樣的模型等問題不清晰。無法發(fā)掘出大數(shù)據(jù)的特殊價值。在數(shù)據(jù)分析過程中無法充分發(fā)揮量大、多模態(tài)、多維關(guān)聯(lián)等大數(shù)據(jù)特征帶來的優(yōu)勢，無法從大數(shù)據(jù)中獲取大價值。企業(yè)內(nèi)部對大數(shù)據(jù)項目無共識。企業(yè)不同層級對大數(shù)據(jù)作用的認識不一致，前期可能為員工帶來更多的工作負荷，導(dǎo)致大數(shù)據(jù)項目拖延推進或無人應(yīng)用等問題。缺乏項目所需的核心技術(shù)。大數(shù)據(jù)項目對企業(yè)員工的數(shù)據(jù)意識和技術(shù)能力提出了更高的要求。如果企業(yè)員工無法達到相應(yīng)要求，在后續(xù)使用過程中往往無法達到預(yù)期目標。大數(shù)據(jù)項目實施案例正泰集團：傳統(tǒng)制造企業(yè)的數(shù)字化轉(zhuǎn)型之旅1.正泰集團是怎樣的一家企業(yè)？2.正泰集團為什么要進行數(shù)字化轉(zhuǎn)型?內(nèi)外部驅(qū)動因素是什么？3.正泰集團在數(shù)字化轉(zhuǎn)型過程中遇到了哪些阻力與障礙？4.正泰集團做了哪些戰(zhàn)略性回應(yīng)以克服阻力與障礙?5.如何理解正泰集團大數(shù)據(jù)平臺運營邏輯?大數(shù)據(jù)項目實施案例1．正泰集團是怎樣的一家企業(yè)？圍繞能源“供給-存儲-輸變-配售-消費”體系，以新能源、能源配售、大數(shù)據(jù)、能源增值服務(wù)為核心業(yè)務(wù)，以光伏設(shè)備、儲能、輸配電、低壓電器、智能終端、軟件開發(fā)、控制自動化為支柱業(yè)務(wù)，打造平臺型企業(yè)，構(gòu)筑區(qū)域智慧能源綜合運營管理生態(tài)圈，為公共機構(gòu)、工商業(yè)及終端用戶提供一攬子能源解決方案。大數(shù)據(jù)項目實施案例2.正泰集團為什么要進行數(shù)字化轉(zhuǎn)型?內(nèi)外部驅(qū)動因素是什么？外部驅(qū)動因素：PTST分析政治（Political）：德國工業(yè)4.0、中國制造2025。經(jīng)濟（Economic）：數(shù)字經(jīng)濟已經(jīng)成為國民經(jīng)濟的新業(yè)態(tài)。在“互聯(lián)網(wǎng)下半場”，制造業(yè)擁抱數(shù)字技術(shù)成為必然趨勢。社會（Social）：人們對美好生活的向往。技術(shù)（Technological）：數(shù)字技術(shù)具有天生的顛覆性，繼續(xù)守成已經(jīng)無法應(yīng)挑戰(zhàn)，只有順數(shù)字化趨勢，及時調(diào)整戰(zhàn)略，打造數(shù)字化能力，才在新的環(huán)境下生存。內(nèi)部驅(qū)動因素：集團創(chuàng)始人的前瞻性戰(zhàn)略眼光以及企業(yè)自身成長的要求。大數(shù)據(jù)項目實施案例3.正泰集團在數(shù)字化轉(zhuǎn)型過程中遇到了哪些阻力與障礙？個人阻力：個人利益與舒適區(qū)的障礙不確定性和不安全感、知覺的選擇性、對熟悉事物的偏好在數(shù)字化轉(zhuǎn)型啟動之初，集團內(nèi)部除最高領(lǐng)導(dǎo)人之外的幾乎所有員工都沒有表現(xiàn)出對轉(zhuǎn)型的認同，他們或認為會威脅已有權(quán)力與地位，或認為會改變穩(wěn)定的現(xiàn)狀怕自己無法適應(yīng)而淘汰，再加上對數(shù)字化轉(zhuǎn)型未來的不明晰而更愿意維持現(xiàn)狀。組織阻力：科層級組織的障礙正泰長久以來建立的科層制組織架構(gòu)下的部門墻、與客戶打交道的界面等慣有組織路徑成為數(shù)字化流程改造中的障礙。大數(shù)據(jù)項目實施案例4.正泰集團做了哪些戰(zhàn)略性回應(yīng)以克服阻力與障礙?設(shè)置首席數(shù)據(jù)官（CDO）。邀請從組織外部邀請了信息化專家負責(zé)集團數(shù)字化轉(zhuǎn)型。選擇輕資產(chǎn)轉(zhuǎn)型模式。以整合管理型數(shù)據(jù)為起點，以讓集團上下看到數(shù)字化能夠帶來的實際價值。在“生產(chǎn)智能化”階段，選擇兩個明星產(chǎn)品生產(chǎn)線為試點進行智能化改造。通過教育溝通轉(zhuǎn)變員工認識。董事長親自出馬+外部咨詢專家數(shù)字化培訓(xùn)組織結(jié)構(gòu)平臺化變革。自上而下的變革，建立委員會模式和共享中心。大數(shù)據(jù)項目實施案例5.如何理解正泰集團大數(shù)據(jù)平臺運營邏輯?原有的管理系統(tǒng)和生產(chǎn)系統(tǒng)是否能夠獲得所需數(shù)據(jù)？如何進行數(shù)據(jù)集成？數(shù)據(jù)集成的關(guān)鍵是什么？如何面向不同業(yè)務(wù)需求開發(fā)數(shù)據(jù)模型？組織結(jié)構(gòu)如何匹配大數(shù)據(jù)戰(zhàn)略？正泰集團大數(shù)據(jù)平臺運營邏輯圖正泰集團組織平臺化數(shù)據(jù)管道和暫存類項目任務(wù)數(shù)據(jù)管道和數(shù)據(jù)暫存類項目是3個數(shù)據(jù)項目類型中范圍最廣的，因為它涉及從外部數(shù)據(jù)源到目標數(shù)據(jù)源的整個路徑，并為構(gòu)建數(shù)據(jù)解決方案的其余部分奠定基礎(chǔ)。需要關(guān)注的任務(wù)包括七個方面。源數(shù)據(jù)收集方法的選擇針對數(shù)據(jù)收集與存儲的風(fēng)險管理數(shù)據(jù)傳遞保證數(shù)據(jù)的管理和治理延遲和傳遞確認針對數(shù)據(jù)傳遞的風(fēng)險管理目標數(shù)據(jù)的訪問模式數(shù)據(jù)處理和分析類項目數(shù)據(jù)的處理和分析是指對數(shù)據(jù)管道和數(shù)據(jù)暫存項目中的數(shù)據(jù)進行轉(zhuǎn)換和分析，以提取有用的價值。根據(jù)CRISP-DM流程，數(shù)據(jù)處理和分析類項目的任務(wù)包括六個方面。業(yè)務(wù)理解：項目的起點是企業(yè)戰(zhàn)略和業(yè)務(wù)需求。數(shù)據(jù)理解：用何數(shù)據(jù)、數(shù)據(jù)在哪里、有何特征數(shù)據(jù)預(yù)處理：噪音、缺失值、約簡模型構(gòu)建：構(gòu)建面向業(yè)務(wù)需求的決策支持模型模型評估：評估模型的效果，選擇效果最好的模型應(yīng)用部署：應(yīng)用模型支持決策，應(yīng)用效果反饋應(yīng)用程序開發(fā)類項目前兩類項目關(guān)注數(shù)據(jù)收集和數(shù)據(jù)學(xué)習(xí)，而應(yīng)用程序開發(fā)與部署使用數(shù)據(jù)向內(nèi)部或外部提供服務(wù)的應(yīng)用程序有關(guān)。這類項目應(yīng)關(guān)注的事項有：廷遲和吞吐量：執(zhí)行一個操作需要多長時間，系統(tǒng)每秒可處理多少個操作?局部狀態(tài)和一致性：如果系統(tǒng)在多個地區(qū)可用，那么它是如何進行復(fù)制的?它是孤島式的、最終一致性的還是強一致性的？系統(tǒng)可用性：系統(tǒng)在發(fā)生故障和故障恢復(fù)方面有哪些特點?大數(shù)據(jù)項目的技術(shù)選型在實施大數(shù)據(jù)項目的過程中，企業(yè)的技術(shù)選型需要的因素包括：企業(yè)自身情況。自身業(yè)務(wù)需求、內(nèi)部團隊需求、風(fēng)險承受能力、員工技能水平等。內(nèi)外部專家建議。企業(yè)內(nèi)部技術(shù)專家，企業(yè)外部顧問。專業(yè)分析機構(gòu)見解。參考Ga