大數(shù)據(jù)應用云平臺及新一代智能網(wǎng)絡通訊研發(fā)項目可行性研究報告

大數(shù)據(jù)應用云平臺及新一代智能網(wǎng)絡通訊研發(fā)項目可行性研究報告一、項目內容概述本項目以建設創(chuàng)意信息大數(shù)據(jù)應用云平臺及新一代智能網(wǎng)絡通訊的研發(fā)和應用實踐為主要建設內容，具體如下：1、大數(shù)據(jù)應用云平臺項目創(chuàng)意信息“大數(shù)據(jù)應用云平臺”基于大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等技術，適用于政務、環(huán)保、電力等行業(yè)，是從數(shù)據(jù)采集到數(shù)據(jù)處理、數(shù)據(jù)應用、數(shù)據(jù)管理、數(shù)據(jù)存儲、再到數(shù)據(jù)備份服務的軟、硬件數(shù)據(jù)分析平臺，其通過“硬件+軟件+服務”的集成，為政務、環(huán)保、電力等不同行業(yè)用戶、服務商、數(shù)據(jù)管理者、消費者提供基于云計算的智能化、可定制、可視化的數(shù)據(jù)模型管理平臺，最終形成面向大數(shù)據(jù)深加工的核心產品及服務。通過建設“大數(shù)據(jù)應用云平臺及新一代智能網(wǎng)絡通訊的研發(fā)和應用實踐項目”，進而在此基礎上實施大數(shù)據(jù)分析、安全脫敏、智能備份及提供其他增值服務，一方面可以幫助公司以現(xiàn)有產品作為切入點，云化建立具有自主知識產權的大數(shù)據(jù)平臺，更好的滿足現(xiàn)有業(yè)務領域客戶；另一方面，公司可以利用云平臺，通過大數(shù)據(jù)分析解決虛擬運營商在實際業(yè)務開展中遇到的困難，為其提供差異化服務，豐富虛擬運營商IT服務提供方式，從而獲取更大的利潤空間?！按髷?shù)據(jù)應用云平臺”主要包含“六大自主可控基礎產品開發(fā)”和“兩大應用服務”；經(jīng)過前期的市場調研工作，結合公司自身優(yōu)勢，本項目大數(shù)據(jù)應用云平臺的業(yè)務應用將優(yōu)先開發(fā)工業(yè)物聯(lián)網(wǎng)支撐平臺應用服務、持續(xù)運營個性化流量應用服務。具體如下：1.1大數(shù)據(jù)應用云平臺（1）企業(yè)級大數(shù)據(jù)平臺（D+）企業(yè)級大數(shù)據(jù)平臺（D+）是基于開源ApacheHadoop，綜合大數(shù)據(jù)市場需求，打造的企業(yè)級大數(shù)據(jù)平臺產品。產品集成Hadoop生態(tài)圈中多種優(yōu)秀組件，實現(xiàn)采集、處理、分析、存儲、搜索、算法、服務、安全等全域一體化的數(shù)據(jù)加工能力。通過實時動態(tài)分析、離線數(shù)據(jù)模型分析、挖掘、預測等手段，為企業(yè)級用戶提供強大的分析、決策、創(chuàng)新等支撐能力。D+定義D+平臺同步最新的ApacheHadoop穩(wěn)定發(fā)行版，集成了最新穩(wěn)定的Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、Sqoop、Knox、Ranger、Hue、Zookeeper等組件，極大增強其兼容性、安全性、穩(wěn)定性，解決了版本、組件等相互依賴問題，使用戶能夠專注于數(shù)據(jù)存儲、處理等業(yè)務應用，而不用關心底層平臺問題。D+體系架構D+平臺以YARN作為架構中心，支持多任務、多負載、多處理方式（從批處理到交互式處理再到實時處理），擁有企業(yè)級大數(shù)據(jù)平臺所需的關鍵能力——管理、安全和運營。平臺全面的功能集包括：集中監(jiān)管、數(shù)據(jù)存儲、數(shù)據(jù)訪問、數(shù)據(jù)安全等主要功能。（2）大數(shù)據(jù)業(yè)務模型平臺（M+）大數(shù)據(jù)業(yè)務模型平臺（M+）構建了基于大數(shù)據(jù)業(yè)務的PaaS層服務。依托大數(shù)據(jù)領域從業(yè)人員（業(yè)務分析師、業(yè)務分析專家、模型設計人員、測試人員、管理維護人員、服務方和集成商等）的具體需求，構建了大數(shù)據(jù)業(yè)務模型全生命周期的閉環(huán)管理，平臺具備可視化大數(shù)據(jù)業(yè)務建模、業(yè)務模型自動化部署、模型測試、可視化展示、業(yè)務模型調度維護等功能，支撐多租戶的大數(shù)據(jù)業(yè)務模型開發(fā)、共享、授權與管理。平臺以企業(yè)業(yè)務邏輯為導向，使數(shù)據(jù)分析者只關注具體的業(yè)務分析邏輯而無需關注底層大數(shù)據(jù)平臺的技術細節(jié)，極大提高了業(yè)務模型開發(fā)的速度和便捷性。新型大數(shù)據(jù)整體分析模式M+包含以下幾個主要功能：①可視化模型開發(fā)客戶端：模型設計可視化、運行數(shù)據(jù)可視化、模型開發(fā)引擎；②認證與用戶管理服務：用戶管理、模型權限自動化分配管理、模型與用戶權限認證；③模型管理服務：模型庫管理、模型發(fā)布、模型類型配置、模型審核授權；④模型調度服務：任務調度引擎、日志引擎；⑤模型解釋服務：模型自動化編譯引擎、模型自動化解釋引擎。大數(shù)據(jù)業(yè)務模型平臺一站式大數(shù)據(jù)綜合架構（3）大數(shù)據(jù)數(shù)據(jù)處理平臺(TROYETL)TROYETL是同時支撐Windows和Linux運行環(huán)境的大數(shù)據(jù)數(shù)據(jù)處理平臺。TROYETL能夠快速便捷的完成涵蓋各種數(shù)據(jù)結構的轉換、過濾、清洗工作；其全程的可視化操作及監(jiān)控體系為業(yè)務人員、運維人員、開發(fā)人員從數(shù)據(jù)集成設計、調度運維、功能擴展及支持提供了完善的支撐。大數(shù)據(jù)數(shù)據(jù)處理平臺整體架構①大數(shù)據(jù)層平臺提供對分布式文件系統(tǒng)的支撐,同時對創(chuàng)意企業(yè)級大數(shù)據(jù)平臺(D+)提供的大數(shù)據(jù)環(huán)境進行了功能優(yōu)化,對比其他開源環(huán)境擁有更高的執(zhí)行效率。支撐的組件包括Oracle、Hadoop、MongoDB、Hive、Kafka、Hbase、Storm等。②內核層平臺內核層作為整個平臺的基礎能力提供層：提供安全加解密、線程管理、數(shù)據(jù)庫驅動、消息傳遞、日志管理等功能，同時可通過插件接口實現(xiàn)對新功能的自定義擴展。③引擎層提供作業(yè)、轉換、批處理任務、元數(shù)據(jù)、系統(tǒng)數(shù)據(jù)交換引擎功能。④應用層平臺具有：可視化的ETL任務設計器、批量的任務調度器、支持動態(tài)集群調度管理器和分級的日志管理功能。大數(shù)據(jù)數(shù)據(jù)處理平臺特性（4）數(shù)據(jù)脫敏（敏感數(shù)據(jù)管理）產品創(chuàng)意“數(shù)據(jù)脫敏產品”是一個適合不同行業(yè)和用戶的全方位產品，內置豐富的敏感數(shù)據(jù)發(fā)現(xiàn)、脫敏算法能夠支持金融、政府、教育、零售等不同行業(yè)的數(shù)據(jù)脫敏需求；又能支持國內外主流的數(shù)據(jù)存儲平臺，包括：數(shù)據(jù)庫、Hadoop大數(shù)據(jù)分析、文件等的全面智能的數(shù)據(jù)脫敏軟件。與其他脫敏軟件不同的是，創(chuàng)意研發(fā)的“數(shù)據(jù)脫敏產品”是可以與創(chuàng)意信息研發(fā)的數(shù)據(jù)敏捷管理平臺CDS產品實現(xiàn)無縫對接，可以在統(tǒng)一的圖形化界面管理中幫助客戶實現(xiàn)測試、開發(fā)和數(shù)據(jù)分析等多種場景下的應用需求，通過“數(shù)據(jù)脫敏產品”的自助服務平臺，適應大型企業(yè)、大項目的不同復雜場景的敏感數(shù)據(jù)管理，靈活的脫敏算法自定義能力，包括支持混排、替換、隨機、波動等常見的脫敏算法。脫敏過程全內存的數(shù)據(jù)處理，保障數(shù)據(jù)不會在脫敏過程中泄露，部署架構方面支持集群部署和并行處理，保障大數(shù)據(jù)分析要求的處理能力。（5）分布式塊存儲產品在日益激烈的競爭環(huán)境中，高效、敏捷的IT服務能力已成為現(xiàn)代企業(yè)取得商業(yè)成功的核心要素。數(shù)據(jù)庫、虛擬化、云應用要求IT系統(tǒng)更富于效率和靈活性，而以傳統(tǒng)的高中低端磁盤陣列為代表的“傳統(tǒng)SAN”IT基礎設施是孤立、僵化、不靈活的，它們在性能、擴展性、可管理性等方面存在明顯的局限性，無法始終為客戶提供所需的可擴展性、彈性和靈活性來滿足當今高性能應用程序的需求，更不用說滿足整個業(yè)務的需求。云計算、虛擬化、分布式、軟件定義技術的快速發(fā)展，促使數(shù)據(jù)中心的建設目標和技術架構發(fā)生了深刻的變化，要求實現(xiàn)更高的效率、服務水平、靈活性和敏捷性。經(jīng)過前期的市場調研工作，結合公司自身優(yōu)勢，本項目中研發(fā)的分布式塊存儲設備具備以下特點：企業(yè)級數(shù)據(jù)服務，充分利用各類高性能標準X86硬件資源，構建高效的分布式塊存儲架構，可通過高性能的VM專用接口，NBD接口和iSCSI接口供業(yè)務主機訪問，可完整支持虛擬化、云計算、數(shù)據(jù)庫等各類企業(yè)級應用場景，包括數(shù)據(jù)保護，容量優(yōu)化，快照和克隆，動態(tài)分層，SLA保障，安全加密等。彈性化存儲管理，采用完全橫向的擴展模式，可實現(xiàn)真正不停機的動態(tài)擴容，按需配置，隨需擴展高性能，采用Scale-out分布式設計架構，存儲集群內部每個節(jié)點可以并行的對外提供訪問，自動負載均衡等多種性能優(yōu)化機制，可構建一個高帶寬、高并發(fā)、低延時的高效存儲平臺。低TCO成本，可以不采用同等節(jié)點，讓用戶充分利舊原有資源的靈活組建方式可以最大限度的降低TCO成本，且支持動態(tài)可擴展的擴容，最大限度保護已有投資。（6）備份系統(tǒng)智能分析及自動化恢復驗證平臺產品研發(fā)的備份系統(tǒng)智能分析及自動化恢復驗證平臺，初期以支持當前在金融/能源/電信運營商中使用比例最高的NBU軟件為基礎，實現(xiàn)針對NBU軟件的備份系統(tǒng)智能分析和自動化恢復驗證，同時，開發(fā)與數(shù)據(jù)敏捷管理平臺的對接，實現(xiàn)一套平臺下的數(shù)據(jù)全生命周期管理和使用，真正將數(shù)據(jù)的在線、近線、離線管理落到實處，實時展現(xiàn)當前數(shù)據(jù)副本的狀態(tài)。未來考慮逐步加入客戶當前使用量較大的其他備份軟件的支持。本期研發(fā)的產品還具備以下功能特點：靈活部署方式，提供私有云和公有云兩種模式，無縫對接企業(yè)內部已有的NBU備份平臺，松耦合的方式獲取數(shù)據(jù)及驗證圖形化操作界面，通過WebGUI的圖形界面的方式進行操作，設置驗證策略及分析策略，采用智能數(shù)據(jù)分析方法將分析結論以動態(tài)圖形的方式予以展現(xiàn)，且可以記錄不同時期的分析結果，實現(xiàn)多維度對比，并給出備份系統(tǒng)當前存在的問題及建議修改的方式。豐富的接口，提供Restful的API接口，同時可以與北京創(chuàng)意云智的數(shù)據(jù)敏捷管理產品實現(xiàn)無縫對接，從而在提升現(xiàn)有備份系統(tǒng)能力的同時，也可以在統(tǒng)一的界面內對客戶的數(shù)據(jù)進行全生命周期管理，同時預留了未來與其他備份軟件對接的接口，方便與其他備份軟件集成。1.2工業(yè)物聯(lián)網(wǎng)支撐平臺應用隨著工業(yè)4.0以及互聯(lián)網(wǎng)+概念和政策的出臺，單一的設備人員本地服務以及粗放的本地監(jiān)控服務模式，已經(jīng)遠遠不能滿足客戶復雜的業(yè)務需求。結合邦訊信息在物聯(lián)網(wǎng)方面的技術優(yōu)勢和創(chuàng)意信息在大數(shù)據(jù)技術方面的長期積累，工業(yè)物聯(lián)網(wǎng)支撐平臺應用將面向行業(yè)客戶提供設備運行情況、數(shù)據(jù)接入采集，并對采集的數(shù)據(jù)進行匯總和綜合分析，最終形成企業(yè)設備管理和維護的最佳方案，優(yōu)化資源配置。該平臺可以應用于能源行業(yè)、智能監(jiān)控行業(yè)、安防行業(yè)、基于物聯(lián)網(wǎng)的傳統(tǒng)行業(yè)改造。1.3個性化流量應用“創(chuàng)意流量”是在基于云端數(shù)據(jù)分析的流量消費服務，負責對運營商流量的交易、流轉、兌換、結轉，根據(jù)不同的應用場景，通過流量7個維度流量屬性（大小、時間、內容、位置、質量、流向、流速）的不同配置組合,面向個人用戶、家庭用戶、企業(yè)用戶及相關互聯(lián)網(wǎng)流量銷售合作伙伴開展不同類型的流量產品。2、新一代智能網(wǎng)絡通訊項目隨著3GPP標準Rel15和Rel16的凍結，5G相關的通訊芯片供應商、終端廠家、系統(tǒng)設備供應商從技術角度陸續(xù)公布產品路標和發(fā)布時間。國內三大運營商也相繼推出技術商業(yè)白皮書，建立5G應用和產研中心，工信部組織的5G測試已進入第三階段。創(chuàng)意信息根據(jù)未來發(fā)展規(guī)劃，結合技術、市場的資源儲備和對新興5G技術市場、行業(yè)方向的調研分析，在公司首席科學家梁平院士牽頭的技術團隊充分論證和準備下，確定了