制造業(yè)MES產(chǎn)線IoT平臺架構(gòu)

..制造業(yè)MES產(chǎn)線IoT平臺架構(gòu)Oracle全數(shù)據(jù)和云存儲方案對于大多數(shù)的制造企業(yè)來說,在快速發(fā)展的同時對大量數(shù)據(jù)進行訪問、分析及管理越來越關(guān)鍵。許多制造企業(yè)都在增強制造質(zhì)量的同時尋找提升缺陷跟蹤及對完善供應鏈的優(yōu)化能力,從而改善其整體的運營效率。全數(shù)據(jù)解決方案可以幫助提高制造及運營效率,同時提供對公司運作的全方位觀察,從而引導更好更及時的決策。以全數(shù)據(jù)為基礎的架構(gòu)可以讓企業(yè)有能力分析各類數(shù)據(jù)源以獲得更好的洞察。這會開拓企業(yè)的分析及預測選項,并會取得更好的成果。Oracle是企業(yè)級解決方案的領導者,在企業(yè)紛紛思考大數(shù)據(jù)如何轉(zhuǎn)換為價值的過程中,Oracle也在結(jié)合自己的經(jīng)驗和能力思考,并且總結(jié)出了全數(shù)據(jù)管理解決方案。即對于結(jié)構(gòu)化數(shù)據(jù),Oracle建議采用關(guān)系型數(shù)據(jù)庫來處理,其技術(shù)非常成熟,生態(tài)環(huán)境也比較完善。而對于非結(jié)構(gòu)化數(shù)據(jù),考慮到未來技術(shù)的發(fā)展和成本等因素,可以考慮基于Hadoop/NoSQL來處理,同時將關(guān)系型數(shù)據(jù)庫成熟的經(jīng)驗和技術(shù)擴展到新技術(shù)平臺。全數(shù)據(jù)管理平臺構(gòu)建模式應該是關(guān)系型數(shù)據(jù)庫和Hadoop/NoSQL相結(jié)合,在企業(yè)級產(chǎn)品方面Oracle推出了Exadata+BDA的一整套全數(shù)據(jù)解決方案。OracleExadata數(shù)據(jù)庫云平臺采用集成設計,旨在為Oracle數(shù)據(jù)庫提供卓越的性能、極好的成本效益和極高的可用性。Exadata可以運行所有類型的數(shù)據(jù)庫負載,包括聯(lián)機事務處理<OLTP>、數(shù)據(jù)倉庫<DW>、內(nèi)存中分析以及各種混合負載。OracleBDA大數(shù)據(jù)機是一個靈活、高性能安全的平臺,用于在Hadoop、Kafka和NoSQL系統(tǒng)上運行不同的負載。憑借OracleBigDataSQL,BDA將Oracle行業(yè)領先的SQL實現(xiàn)擴展至Hadoop/NoSQL和Kafka系統(tǒng)。BDA將Hadoop生態(tài)系統(tǒng)的最新技術(shù)和強大的OracleSQL功能整合到一個預先配置的平臺上,因而支持快速開發(fā)新的大數(shù)據(jù)應用程序,支持與現(xiàn)有關(guān)系型數(shù)據(jù)緊密集成,這在業(yè)界堪稱獨一無二。Oracle存儲云服務為您提供了一個通過互聯(lián)網(wǎng)存儲、管理和使用大量非結(jié)構(gòu)化數(shù)據(jù)的易用的解決方案。您的應用程序可以使用OpenStackSwift兼容的RESTAPI或JavaAPI以編程方式訪問Oracle存儲云服務。您可以使用基于web的圖形控制臺監(jiān)視關(guān)鍵存儲量度并管理用戶和角色。下面以一個真實的案例向您介紹如何通過ORACLE全數(shù)據(jù)平臺+Cloud存儲混合云架構(gòu)設計,構(gòu)建一個制造業(yè)MES產(chǎn)線IoT平臺。典型案例——某制造業(yè)MES產(chǎn)品檢測系統(tǒng)大數(shù)據(jù)需求分析1.1.數(shù)據(jù)源分析MES產(chǎn)品檢測系統(tǒng)測試數(shù)據(jù)分為兩類：SUMMARY概要數(shù)據(jù)DETAIL詳細數(shù)據(jù)LOGFILE日志文件IMAGE測試圖片文件數(shù)據(jù)按RETENTION分類超熱數(shù)據(jù)：當前生產(chǎn)數(shù)據(jù)：1天以內(nèi)熱數(shù)據(jù)：1天至1月溫數(shù)據(jù)：1月至6月冷數(shù)據(jù)：6月以上至2年具體數(shù)據(jù)分析如下：SUMMARYLOGFILEIMAGE定義測試數(shù)據(jù)的概要信息測試日志文件〔測試數(shù)據(jù)的詳細信息測試圖片文件〔測試數(shù)據(jù)的詳細信息格式結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)大小〔每條10KB50KB5MB產(chǎn)生數(shù)量/分鐘1000條10萬條1000條數(shù)據(jù)量/分鐘數(shù)據(jù)量/天數(shù)據(jù)量/月數(shù)據(jù)量/半年數(shù)據(jù)量/年10MB14.4GB432GB2.592TB5.184TB5GB7.2TB216TB1.296PB2.592PB

5GB7.2TB216TB1.296PB2.592PB數(shù)據(jù)訪問性能要求<=5秒〔超熱數(shù)據(jù)：1天內(nèi)

<=10分鐘〔熱數(shù)據(jù)：1天至1月<=4小時〔溫數(shù)據(jù)：1月至半年<=24小時〔半年至2年

數(shù)據(jù)保留期限超熱數(shù)據(jù)：當前數(shù)據(jù)1天以內(nèi)

熱數(shù)據(jù)：

1天至1月溫數(shù)據(jù)：6月冷數(shù)據(jù)：2年超出2年則自動刪除存儲位置本地存儲本地存儲+公有云公有云1.2.數(shù)據(jù)采集測試數(shù)據(jù)最初是分散分布在各個測試端本地電腦上,后匯總采集存儲至SQL數(shù)據(jù)庫,SUMMARY與LOGFILE數(shù)據(jù)以表的形式存儲。IMAGE則以文件的形式存儲。1.3.數(shù)據(jù)分析主要分析測試數(shù)據(jù)特征值,預測數(shù)據(jù)趨勢1.4.IoT閉環(huán)大數(shù)據(jù)分析結(jié)果反饋至生產(chǎn)端,形成閉環(huán),最終指導生產(chǎn),提高生產(chǎn)效率。例如通過良率分析,發(fā)現(xiàn)生產(chǎn)參數(shù),時間,測試指標結(jié)果和良率的相關(guān)性,通過與MES結(jié)合,實時監(jiān)控生產(chǎn)參數(shù)和測試指標,并且做出預測,一旦發(fā)現(xiàn)缺陷數(shù)量有增加趨勢時,可以通知人為介入,避免大量缺陷件的密集產(chǎn)生。1.5.大數(shù)據(jù)分析處理流程圖2.Oracle全數(shù)據(jù)+云存儲混合架構(gòu)方案=>構(gòu)建企業(yè)級IoT平臺2.1.超熱數(shù)據(jù)處理階段不超過一天的超熱數(shù)據(jù)〔SUMMARY與LOGFILE中間表數(shù)據(jù)由EXADATA+ORACLE12c實現(xiàn)快速處理,尤其是大量的JOIN操作。Exadata所特有的SMARTSCAN、大容量智能緩存等功能,以及Oracle12C的INMEMORY列式內(nèi)存計算、分區(qū)等功能可以實現(xiàn)非常高效地處理超熱數(shù)據(jù)。2.2.熱/溫數(shù)據(jù)處理階段Oracle中的SUMMARY/LOGFILE中間表數(shù)據(jù)實時同步至BDA大數(shù)據(jù)一體機平臺文件導入至BDA中的HDFS,表METADATA存儲至HIVE導入工具為OGGBDA存儲半年以內(nèi)的熱/溫數(shù)據(jù)超出半年以外的LOGFILE數(shù)據(jù)則歸檔至公有云存儲2.3.冷數(shù)據(jù)處理階段BDA大數(shù)據(jù)一體機中超出半年以外的LOGFILE數(shù)據(jù)歸檔至公有云IMAGE數(shù)據(jù)歸檔至公有云2.4.BDA方案整體架構(gòu)圖基于客戶需求理解,ORACLE建議如下：超熱數(shù)據(jù)的處理由Exadata來處理；Summary和Log文件都可以存放于BDA中,由于Summary文件較小,且包含Log文件的訪問信息,Summary文件一直存放在BDA中；Log文件冷數(shù)據(jù)歸檔窗口保持為6個月。整體方案架構(gòu)圖如下：說明：1實時同步通過OracleGoldenGate進行實時同步。OGG可以按照配置將更新的記錄同步到HDFS中的文件,并且可以指定文件分割的大小。2用戶可以直接通過ClouderaHadoop平臺進行數(shù)據(jù)訪問,例如Impala、Hive等。同時考慮到現(xiàn)有人員技能復用,也可以通過任何一個Oracle12c實例,通過OracleBigDataSQL即可沿用Oracle數(shù)據(jù)庫平臺上的DBA管理和訪問方法。3Summary一直保存在BDA中,根據(jù)Summary中文件的URI可以定位到公有云中的文件,需要的時候可以將文件從公有云中恢復和下載到本地的BDA中進行查詢。IMAGE文件一直歸檔至公有云。4Oracle云中數(shù)據(jù)湖解決方案可以提供靈活的Hadoop集群云服務,通過OpenstackSwift協(xié)議或者基于內(nèi)存的大數(shù)據(jù)文件協(xié)議〔BDFS直接將Oracle存儲云上的數(shù)據(jù)映射成Hive表通過SQL進行查詢訪問和分析,未來冷數(shù)據(jù)的批量查詢分析可以通過該方式實現(xiàn),分析結(jié)果再返回本地使用,提升云中海量數(shù)據(jù)綜合分析能力,減少海量數(shù)據(jù)在本地和云中頻繁移動。3.總結(jié)通過采用全數(shù)據(jù)平臺〔Exadata+BDA與歸檔云存儲的混合架構(gòu),再加上GoldenGate實時的集成技術(shù)以及BigDataSQL、BigDataConnect、R等一系列大數(shù)據(jù)技術(shù),可分別快速有效地處理大數(shù)據(jù)處理的不同階段、不同類型數(shù)據(jù)。該架構(gòu)具體優(yōu)勢體現(xiàn)如下：全數(shù)據(jù)平臺Exadata與BDA構(gòu)成的全數(shù)據(jù)平臺可支持各種結(jié)構(gòu)化及非結(jié)構(gòu)數(shù)據(jù),支持SQL、NOSQL、HIVE、HDFS等各類數(shù)據(jù)平臺。性能最優(yōu)Exadat