智能制造管理 課件 第十六章 制造大數(shù)據(jù)分析方法

第十六章制造大數(shù)據(jù)分析方法1制造數(shù)據(jù)產(chǎn)生、轉化、存儲2數(shù)據(jù)挖掘技術3商務智能分析4大數(shù)據(jù)分析技術5制造大數(shù)據(jù)可視化分析系統(tǒng)制造數(shù)據(jù)產(chǎn)生、轉化、存儲制造業(yè)大數(shù)據(jù)是工業(yè)數(shù)據(jù)的總和，我們把它分成三類，即企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)，以及外部跨界數(shù)據(jù)。其中，企業(yè)信息化和工業(yè)物聯(lián)網(wǎng)中機器產(chǎn)生的海量時序數(shù)據(jù)是工業(yè)數(shù)據(jù)規(guī)模變大的主要來源。近年來物聯(lián)網(wǎng)技術快速發(fā)展，工業(yè)物聯(lián)網(wǎng)成為制造業(yè)大數(shù)據(jù)新的、增長最快的來源之一。16.1.1制造業(yè)大數(shù)據(jù)分類海量的Key-Value數(shù)據(jù)文檔數(shù)據(jù)信息化數(shù)據(jù)接口數(shù)據(jù)視頻數(shù)據(jù)圖像數(shù)據(jù)音頻數(shù)據(jù)其他數(shù)據(jù)制造數(shù)據(jù)產(chǎn)生、轉化、存儲各種類型的制造業(yè)大數(shù)據(jù)都是通過傳感器和RFID（RadioFrequencyIdentification，射頻識別）進行收集的。RFID技術是一種非接觸式的自動識別技術，通過射頻信號自動識別目標對象并獲取相關的數(shù)據(jù)信息。利用射頻方式進行非接觸雙向通信，達到識別目的并交換數(shù)據(jù)。數(shù)據(jù)采集技術難點主要包括以下幾方面：數(shù)據(jù)量巨大工業(yè)數(shù)據(jù)的協(xié)議不標準視頻傳輸所需帶寬巨大對原有系統(tǒng)的采集難度大安全性考慮不足16.1.2制造業(yè)大數(shù)據(jù)的收集制造數(shù)據(jù)產(chǎn)生、轉化、存儲存儲和管理多源異構和多模態(tài)這兩種類型的工業(yè)大數(shù)據(jù)的關鍵技術多源異構數(shù)據(jù)（Multi-sourceHeterogeneousData）是指數(shù)據(jù)源不同、數(shù)據(jù)結構或類型不同的數(shù)據(jù)集合。多源異構數(shù)據(jù)管理需要從系統(tǒng)角度，針對工業(yè)領域涉及的數(shù)據(jù)在不同階段、不同流程呈現(xiàn)多種模態(tài)（關系、圖、鍵值、時序、非結構化）的特點，研制不同的數(shù)據(jù)管理引擎致力于對多源異構數(shù)據(jù)進行高效地采集、存儲和管理。多源異構數(shù)據(jù)管理技術可有效解決大數(shù)據(jù)管理系統(tǒng)中由模塊耦合緊密、開放性差而導致的系統(tǒng)對數(shù)據(jù)多樣性和應用多樣性的適應能力差的問題，使大數(shù)據(jù)管理系統(tǒng)能夠更好地適應數(shù)據(jù)和應用的多樣性并能夠充分利用開源軟件領域強大的技術開發(fā)和創(chuàng)新能力。多模態(tài)數(shù)據(jù)（Multi-modalData）是指表征同一事物的不同來源和形式的數(shù)據(jù)。在數(shù)據(jù)生命周期管理中，多模態(tài)數(shù)據(jù)存儲分散、關系復雜，在研發(fā)、制造周期以BOM為主線，在制造、服務周期以設備實例為中心，BOM和設備的語義貫穿了工業(yè)大數(shù)據(jù)的整個生命周期。數(shù)據(jù)集成的核心任務是要將互相關聯(lián)的多模態(tài)數(shù)據(jù)集成到一起，使用戶能夠以透明的方式訪問這些數(shù)據(jù)源。16.1.3大數(shù)據(jù)存儲與管理技術數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘（DataMining）就是從真實的、大量的、有噪聲的數(shù)據(jù)源中提取先前未知的可供用戶接受、理解、運用的潛在知識的過程。數(shù)據(jù)挖掘技術提取的知識從廣義上理解就是人們口中常說的數(shù)據(jù)與信息。16.2.1數(shù)據(jù)挖掘概念與功能數(shù)據(jù)挖掘任務的基本步驟數(shù)據(jù)挖掘技術分類。分類用于預測離散的目標變量，找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類?；貧w。回歸分析方法用于預測連續(xù)的目標變量，發(fā)現(xiàn)變量或屬性間的依賴關系。聚類分析。聚類分析是將數(shù)據(jù)劃分成有意義、解釋性強的組，在數(shù)據(jù)中發(fā)現(xiàn)描述對象及其關系的信息。關聯(lián)分析。關聯(lián)規(guī)則是描述數(shù)據(jù)庫中數(shù)據(jù)項之間所存在的隱藏關系的規(guī)則。異常檢測。異常檢測就是發(fā)現(xiàn)與大部分其他對象存在偏差的對象。Web頁挖掘。通過對Web的挖掘，可以利用Web的海量數(shù)據(jù)進行分析，收集政治、經(jīng)濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息。16.2.2數(shù)據(jù)挖掘常用方法數(shù)據(jù)挖掘技術時序分析。智能化工業(yè)生產(chǎn)設備上安裝了大量的傳感器，這些傳感器不斷產(chǎn)生檢測生產(chǎn)設備溫度、壓力、位移重量、震動的海量的時間序列數(shù)據(jù)以用于診斷和預警設備故障，以便制造企業(yè)監(jiān)控生產(chǎn)、控制能耗、分析設備利用率。知識圖譜。工業(yè)生產(chǎn)過程中會積累大量的日志文本，此類非結構化數(shù)據(jù)中蘊含著豐富的專家經(jīng)驗，利用文本分析的技術能夠實現(xiàn)事件實體和類型提取（故障類型抽?。⑹录€索抽?。ü收犀F(xiàn)象、征兆、排查路線、結果分析），通過專家知識的沉淀實現(xiàn)專家知識庫（故障排查知識庫、運維檢修知識庫、設備操作知識庫）。多源數(shù)據(jù)融合。在企業(yè)生產(chǎn)經(jīng)營、采購運輸?shù)拳h(huán)節(jié)中，會有大量的管理經(jīng)營數(shù)據(jù)，利用這些數(shù)據(jù)可實現(xiàn)供應鏈協(xié)同、精準銷售、市場調度、產(chǎn)品追溯、能力分析、質量管控等等。16.2.3數(shù)據(jù)挖掘技術在工業(yè)大數(shù)據(jù)的應用商務智能分析16.3.1商務智能概述及模型分析商務智能（BusinessIntelligence）最早于1989年由GarnerGroup的分析師HowardDresner首次提出，為提高企業(yè)運營績效而采取的一系列方法，軟件和技術，通過應用相應的支持系統(tǒng)來輔助商業(yè)決策的制定。在企業(yè)積累的海量數(shù)據(jù)源基礎上，面向動態(tài)分析決策需求，針對特定的決策問題進行建模，確定運算規(guī)則，為支持企業(yè)動態(tài)決策提供理論方法和算法支撐，是商務智能的重要研究方向。商務智能分析16.3.2商務智能工具商務智能是在整合、等系統(tǒng)之基礎上，通過數(shù)據(jù)收集、存儲，利用分析工具實現(xiàn)知識管理以為決策者提供價值信息。因此，商務智能工具平臺在商務智能技術框架中具有重要地位是商務智能應用模型發(fā)揮作用的直接載體。商務智能分析16.3.3商務智能應用現(xiàn)狀歐美企業(yè)已經(jīng)認識到商務智能的重要意義，因而對它寄予很高的期望，希望能夠通過商務智能充分利用企業(yè)以往對信息技術的投資、改善決策、提高利潤、提高運營效率和增強透明度。美國企業(yè)用商務智能做在線分析處理的較多，而歐洲企業(yè)進行高級分析的較多。北美企業(yè)的部署重點在于特設查詢、擴展性等，歐洲企業(yè)則側重支持多數(shù)據(jù)庫、信息門戶整合等。商務智能在我國的發(fā)展尚處于起步階段，大部分企業(yè)對其仍然缺乏必要的了解?，F(xiàn)在雖有寶鋼、中國海關以及大的銀行和電信公司進行過或正在進行數(shù)據(jù)倉庫和數(shù)據(jù)挖掘項目，但是大部分企業(yè)在這方面的應用還幾乎為零。被商務智能軟件廠商們看好的是電信、金融、航空等行業(yè)，因為這些行業(yè)的信息化程度偏高，并且這些行業(yè)從某種意義上講都是服務業(yè)，客戶的需求扮演著重要角色，準確、科學地把握客戶的需求是身處這些行業(yè)的企業(yè)決策者們孜孜以求的。商務智能分析16.3.4制造業(yè)商務智能需求及發(fā)展模式制造業(yè)商務智能會因為不同的應用行業(yè)而千差萬別。在此背景下，提供支持多種制造業(yè)商務智能發(fā)展模式及產(chǎn)品研發(fā)的解決方案已成為支撐我國制造企業(yè)發(fā)展并進入全球化制造網(wǎng)絡的重要因素。目前主要存在的五種發(fā)展模式如下：（1）基于自主ERP和自主BI工具的制造業(yè)商務智能發(fā)展模式：即企業(yè)ERP與BI工具屬于同一個開發(fā)實施團隊。（2）基于自主ERP和商業(yè)BI工具的制造業(yè)商務智能發(fā)展模式：即企業(yè)ERP與BI工具不屬于同一個開發(fā)實施團隊。（3）基于商業(yè)ERP和自主BI工具的制造業(yè)商務智能發(fā)展模式：即尊重目前我國制造業(yè)多種多樣ERP系統(tǒng)的現(xiàn)實，利用自主的BI工具發(fā)展自主知識產(chǎn)權的我國行業(yè)商務智能平臺。（4）基于自主BI工具的制造業(yè)商務智能發(fā)展模式：直接基于自主BI開發(fā)應用制造企業(yè)專用的商務智能平臺。（5）相對封閉性行業(yè)的制造業(yè)商務智能發(fā)展模式：針對相對封閉的制造行業(yè)，根據(jù)行業(yè)的需求開發(fā)商務智能平臺，實現(xiàn)與行業(yè)系統(tǒng)的深入集成和應用。商務智能分析16.3.5制造業(yè)商務智能分析框架結合制造業(yè)對商務智能技術與產(chǎn)品的現(xiàn)實需求，以商務智能技術框架為基礎在商務智能應用模型、工具平臺和關鍵技術分析的基礎上，建立制造業(yè)商務智能研究的基本框架。以模型研究為核心以工具平臺研究為重點，以關鍵技術研究為支撐。大數(shù)據(jù)分析技術16.4.1制造業(yè)大數(shù)據(jù)的特點制造業(yè)商務智能不同于其他行業(yè)，它具有自身鮮明的應用特點：（1）數(shù)據(jù)來源多樣。（2）數(shù)據(jù)的生命周期與產(chǎn)品的生命周期有關。（3）數(shù)據(jù)質量低。（4）數(shù)據(jù)蘊含信息復雜，耦合性不確定。（5）數(shù)據(jù)實時性高。（6）數(shù)據(jù)結構化程度低。大數(shù)據(jù)分析技術16.4.2基于流程的大數(shù)據(jù)分析技術應用制造業(yè)涉及行業(yè)眾多，實際工作場景千差萬別，但廣義上講，所有產(chǎn)品的制造流程都可劃分為設計、生產(chǎn)、采購、銷售和售后五個階段。目前大數(shù)據(jù)分析模型在各個場景中都有應用。（1）設計階段。大數(shù)據(jù)分析在設計階段的應用主要體現(xiàn)在工藝流程的參數(shù)優(yōu)化上。此外，在能效優(yōu)化、成本優(yōu)化、工藝標準優(yōu)化及智能設計等方面，大數(shù)據(jù)分析也能起到作用。（2）生產(chǎn)階段。大數(shù)據(jù)分析在生產(chǎn)階段的應用主要體現(xiàn)在質量監(jiān)控、故障診斷和智能調度上。（3）采購階段。大數(shù)據(jù)分析在采購階段的應用主要體現(xiàn)在庫存管理和成本優(yōu)化上。（4）銷售階段。大數(shù)據(jù)分析在銷售階段的應用主要體現(xiàn)在產(chǎn)量預測、需求發(fā)現(xiàn)和配送優(yōu)化上。（5）售后階段。大數(shù)據(jù)分析在售后階段的應用主要體現(xiàn)在服務類型識別和運行狀態(tài)監(jiān)控上。制造大數(shù)據(jù)可視化分析系統(tǒng)制造型的工業(yè)工廠企業(yè)大數(shù)據(jù)的難點在于打通企業(yè)數(shù)據(jù)采集、集成、管理、分析的產(chǎn)業(yè)鏈條，幫助企業(yè)的業(yè)務人員養(yǎng)成使用數(shù)據(jù)的習慣。發(fā)展創(chuàng)新，優(yōu)化業(yè)務流程。智慧工廠工業(yè)BI大數(shù)據(jù)可視化分析系統(tǒng)，為幫助企業(yè)產(chǎn)業(yè)升級，有效提高管理力賦能。通過數(shù)據(jù)分析及時的發(fā)現(xiàn)問題，快速做出解決方案。（1）利用大數(shù)據(jù)驅動業(yè)務發(fā)展，打造企業(yè)新型能力當今的工廠制造業(yè)隨著客戶多樣個性化的需求，產(chǎn)品上市時間短、研制成本高，這樣就會導致工廠的利潤降低。用戶的需求迫切，利潤空間低、競爭大，使得工廠迫切的需要轉型。（2）“盤活存量數(shù)據(jù)、用好增量數(shù)據(jù)”，推動企業(yè)轉型升級制造型企業(yè)在信息化的每個發(fā)展階段都會產(chǎn)生大量的數(shù)據(jù)處理要求，并且會因為各種大量的業(yè)務活動產(chǎn)生各式的大數(shù)據(jù)，所以工業(yè)大數(shù)據(jù)的利用不僅僅是信息化基礎建設，更重要的是可以幫助企業(yè)創(chuàng)新業(yè)務，用數(shù)據(jù)的思維來管理。16.5.1建立制造大數(shù)據(jù)可視化分析系統(tǒng)的作用制造大數(shù)據(jù)可視化分析系統(tǒng)（1）MicroStrategy。成立于1989年，現(xiàn)在是全球最大的獨立BI（BusinessIntelligence）企業(yè)。MicroStrategy一直是GartnerMagicQudrant評鑒中列為領先的前五大BI工具和服務廠家。MicroStrategy可以支持所有主流的數(shù)據(jù)庫或數(shù)據(jù)源。（2）BusinessObjects。是全球領先的商務智能(BI)軟件企業(yè)的產(chǎn)品套件，BusinessObjectsXI為報表、查詢和分析、績效管理以及數(shù)據(jù)集成提供了最完善、最可靠的平臺。2007年10月被SAP收購，但是保持獨立運營。（3）Cognos。隸屬于IBM公司的Cognos是在BI核心平臺之上，以服務為導向進行架構的一種數(shù)據(jù)模型，是唯一可以