大數(shù)據(jù)在信息系統(tǒng)設(shè)計與推廣中的思考

1、大數(shù)據(jù)在信息系統(tǒng)設(shè)計與推廣中的思考摘要相對于大數(shù)據(jù)技術(shù)，大數(shù)據(jù)更加注重的是在思考和設(shè)計方式上的轉(zhuǎn) 變，在大數(shù)據(jù)理念和技術(shù)快速興起并受到廣泛關(guān)注的背景下，結(jié)合公安行業(yè)的 信息化特點探討大數(shù)據(jù)在信息化建設(shè)中的應(yīng)用基礎(chǔ)和實施策略。關(guān)鍵詞大數(shù)據(jù)；數(shù)據(jù)倉庫；信息化建設(shè)；系統(tǒng)推廣；功能調(diào)研1背景目前，“大數(shù)據(jù)”理念和相關(guān)技術(shù)已經(jīng)被廣泛討論和研究，一方面，對大數(shù) 據(jù)的掌握程度可以轉(zhuǎn)化為實際的應(yīng)用價值；另一方面，大數(shù)據(jù)的影響范圍由電 商、金融向政府、公安等更多的行業(yè)和領(lǐng)域擴(kuò)展。要應(yīng)用大數(shù)據(jù)，就必須要對其有詳細(xì)的定義，但是站在不同的角度和時期 對其有不同的認(rèn)識，我們可以認(rèn)為大數(shù)據(jù)就是“利用歷史積累的海量數(shù)據(jù)建立

2、數(shù) 學(xué)模型，分析事物之間的相關(guān)關(guān)系，挖掘數(shù)據(jù)的價值，解決實際問題，”也可以 認(rèn)為大數(shù)據(jù)是“無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行抓取、管 理和處理的數(shù)據(jù)集合”或“大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞 察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)?！辈还苋绾味?義，大數(shù)據(jù)不但要求“大”，而且要求“全”，注重數(shù)據(jù)的完整性和相關(guān)性，推翻 了采樣分析和追求因果關(guān)系的傳統(tǒng)觀點。大數(shù)據(jù)具有明顯的行業(yè)特征，其落地的關(guān)鍵在于與行業(yè)應(yīng)用的深度融合， 傳統(tǒng)BI通過大量的ETL形成完整的數(shù)據(jù)倉庫，而基于大數(shù)據(jù)的BI分析可能會 將數(shù)據(jù)倉庫設(shè)計為分布式的、能夠處理非結(jié)構(gòu)化數(shù)據(jù)的綜合性數(shù)據(jù)

3、倉庫。數(shù)據(jù) 分析的基本方法和思路沒有改變，只是落地到執(zhí)行的數(shù)據(jù)存儲和數(shù)據(jù)處理方法 改變了，當(dāng)然對系統(tǒng)集群的維護(hù)也提出了更高的要求?，F(xiàn)在，大數(shù)據(jù)理念和相關(guān)技術(shù)在新興行業(yè)中應(yīng)用已較為成熟，例如，電商 行業(yè)直接借助于新興的互聯(lián)網(wǎng)技術(shù)，獲取大量不同類型的客戶數(shù)據(jù)，從中分析 客戶行為規(guī)律，為其提供相關(guān)的商品推薦。另外，大數(shù)據(jù)理念和技術(shù)在公安行 業(yè)中的應(yīng)用也嶄露頭角。大數(shù)據(jù)正在逐漸影響著更多的行業(yè)，對傳統(tǒng)的業(yè)務(wù)系統(tǒng)也會有新的貢獻(xiàn)。 公安行業(yè)信息化投資大、風(fēng)險高，技術(shù)人員和領(lǐng)導(dǎo)團(tuán)隊都需要從大量當(dāng)前系統(tǒng) 使用情況的數(shù)據(jù)中抽取有價值的信息作為系統(tǒng)推廣、后期調(diào)研、綜合研判的依 據(jù)。公安業(yè)務(wù)系統(tǒng)數(shù)據(jù)具有分散性、多樣

4、性和異構(gòu)性特點，隨著數(shù)據(jù)量的增 加，對大量信息的處理難度也不斷增大，從大量數(shù)據(jù)中發(fā)現(xiàn)有利信息成為數(shù)據(jù) 利用的關(guān)鍵技術(shù)。這些是公安行業(yè)信息系統(tǒng)建設(shè)的難點也正是大數(shù)據(jù)理念和技 術(shù)引入的必要性和數(shù)據(jù)基礎(chǔ)。目前，一些警種已經(jīng)把數(shù)據(jù)倉庫引入到研判的信息系統(tǒng)中，用商務(wù)智能的 方法處理數(shù)據(jù)，以便能夠迅速、準(zhǔn)確、全面及時地掌握各方面信息，從整體上 提高生產(chǎn)率。數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的和反映歷史變化的數(shù)據(jù) 集合，通過對原有的大量復(fù)雜數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載而形成真實、全面、 統(tǒng)一的數(shù)據(jù)。在獲取了全面的數(shù)據(jù)信息之后，還需要建立相關(guān)模型，挖掘數(shù)據(jù) 中隱含的知識，探索案件發(fā)生的規(guī)律，預(yù)測警情等，為更有效地

5、進(jìn)行資源分配 和防范犯罪提供可靠依據(jù)。很多地區(qū)都開始了公安云的建設(shè)。如江蘇省、山東省、湖北省等地區(qū)都建 立起了省級的云平臺，建立統(tǒng)一的管理和服務(wù)平臺，實現(xiàn)了數(shù)據(jù)的資產(chǎn)化管理 和集成應(yīng)用。主要表現(xiàn)在：注重現(xiàn)場自動化建設(shè)、注重應(yīng)用的集成、注重對數(shù) 據(jù)的深入利用、注重通過信息化促進(jìn)工作優(yōu)化。這些都是傳統(tǒng)BI技術(shù)在公安行 業(yè)中的應(yīng)用，要拓展新思路，探索新方法，實現(xiàn)新發(fā)展，可以從大數(shù)據(jù)理念的 角度出發(fā)思考問題又公安搭業(yè)作為具有代表性的新興行業(yè)，其現(xiàn)有的信息系統(tǒng)相對成熟，傳統(tǒng) 觀念已根深蒂固，針對大數(shù)據(jù)技術(shù)的人員儲備不足，信息化技術(shù)在上游業(yè)務(wù)中 的應(yīng)用較少，如果完全以新技術(shù)取代傳統(tǒng)技術(shù)對企業(yè)的系統(tǒng)架構(gòu)、信

6、息安全和 人員配置以及運維方法都會造成很大的沖擊，導(dǎo)致整個生產(chǎn)鏈條的紊亂。因 此，公安行業(yè)需要引進(jìn)大數(shù)據(jù)理念和技術(shù)，要從上游業(yè)務(wù)中開始注重各方面基 礎(chǔ)數(shù)據(jù)的采集，逐步穩(wěn)妥地將數(shù)據(jù)理念滲入到傳統(tǒng)的BI技術(shù)中。但不宜大范圍 地更換新技術(shù)，應(yīng)該先建立試點，待技術(shù)成熟、制度完善、有應(yīng)用戰(zhàn)果之后再 進(jìn)行推廣。公安經(jīng)濟(jì)保衛(wèi)工作也在按照這個思路向新理念、新技術(shù)靠攏。近些年，先 后完成了經(jīng)保業(yè)務(wù)等專業(yè)數(shù)據(jù)庫建設(shè)，囊括了經(jīng)保信息系統(tǒng)投入開發(fā)后所產(chǎn)生 的絕大部分業(yè)務(wù)數(shù)據(jù)，形成了覆蓋整體業(yè)務(wù)的數(shù)據(jù)管理體系，并參照警綜平臺 和情報平臺的數(shù)據(jù)模型，開展了業(yè)務(wù)系統(tǒng)的升級改造，先后與多個系統(tǒng)進(jìn)行了 對接，為數(shù)據(jù)的綜合應(yīng)用打

7、下了堅實基礎(chǔ)，使數(shù)據(jù)管理基本實現(xiàn)正規(guī)化。隨著 對云計算技術(shù)的全面應(yīng)用，參照大數(shù)據(jù)的理念，已經(jīng)具備了開展大數(shù)據(jù)應(yīng)用的 理論基礎(chǔ)和技術(shù)基礎(chǔ)。2關(guān)于大數(shù)據(jù)的應(yīng)用觀點2.1 關(guān)聯(lián)分析是關(guān)注點大數(shù)據(jù)時代，人們追求的是相關(guān)性而不是因果性。建立在相關(guān)關(guān)系分析法 基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心。相關(guān)關(guān)系是通過識別有用的關(guān)聯(lián)物來幫助人們 分析一個現(xiàn)象，而不是通過揭示其內(nèi)部的運作機(jī)制。2.2 建立分析模型是根本大數(shù)據(jù)應(yīng)用具有明顯的行業(yè)特征，其落地的關(guān)鍵在于與行業(yè)應(yīng)用的深度融 合，根據(jù)行業(yè)特點，建立不同的分析模型，以促使大數(shù)據(jù)應(yīng)用更好的“落地2.3 可視化應(yīng)用是同點首先，大數(shù)據(jù)技術(shù)分析的數(shù)據(jù)量大而且結(jié)構(gòu)多樣化，分析過程

8、比較復(fù)雜， 但是普通用戶不能從大數(shù)據(jù)中直接獲取知識，因此更關(guān)心結(jié)果的展示，所以， 數(shù)據(jù)可視化應(yīng)用是大數(shù)據(jù)技術(shù)的亮點。其次，作為傳統(tǒng)的IT系統(tǒng)，現(xiàn)有的系統(tǒng)架構(gòu)和技術(shù)人員配置都相對成熟， 但是這些基礎(chǔ)設(shè)施、數(shù)據(jù)結(jié)構(gòu)、技術(shù)儲備都無法滿足大數(shù)據(jù)分析的技術(shù)要求， 所以面臨技術(shù)升級（如分布式系統(tǒng)架構(gòu)Hadoop等）的挑戰(zhàn)，這就要求具備強 大而穩(wěn)定的技術(shù)開發(fā)和運維團(tuán)隊。3主要工作基于以上分析，認(rèn)為公安行業(yè)應(yīng)當(dāng)實行大數(shù)據(jù)理念和傳統(tǒng)的BI技術(shù)并行的 策略。根據(jù)自身實際情況，從系統(tǒng)建設(shè)的標(biāo)準(zhǔn)化必備模塊、數(shù)據(jù)管理制度建 設(shè)、綜合數(shù)據(jù)倉庫建設(shè)、數(shù)據(jù)的應(yīng)用分析四個層面開展工作，包括以下內(nèi)容：1.1.1 標(biāo)準(zhǔn)化必備模塊1

9、.1.2 據(jù)采集大數(shù)據(jù)的采集是指通過多個數(shù)據(jù)庫或多類統(tǒng)一業(yè)務(wù)的信息存儲表來接收發(fā) 自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù) 據(jù)庫來進(jìn)行簡單的查詢和處理工作。如使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和 Oracle等來存儲每一筆事務(wù)數(shù)據(jù)。此外，Redis和MongoDB這樣的NoSQL數(shù) 據(jù)庫也常用于采集業(yè)務(wù)的其他角度的描述信息。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為在同一時 間，可能會有成千上萬的用戶來進(jìn)行訪問和操作，如人口信息，它們并發(fā)的訪 問量在峰值時達(dá)到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且 如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片的

10、確是需要深入的思考和設(shè)計。雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進(jìn)行有效的 分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫， 或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工 作，來滿足部分業(yè)務(wù)的實時計算需求。導(dǎo)入與預(yù)處理過程的特點和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量 經(jīng)常會達(dá)到百兆，甚至千兆級別。1.1.3 統(tǒng)計分析統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi) 的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在 這方面，一些實時性需求會用到EMC的Greenplum, Oracle的Exadat

11、a,以及 基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù) 的需求可以使用Hadoopo統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資 源，特別是I/O會有極大的占用。1.1.4 數(shù)據(jù)挖掘與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預(yù)先設(shè)定好的主 題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計算，起到預(yù)測（Predict）的 效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的 Kmeans,用于統(tǒng)計學(xué)習(xí)的SVM和用于分類的Naive Bayes,主要使用的工具有 Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘

12、的算法很復(fù)雜，并 且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。3.2 完善數(shù)據(jù)管理制度進(jìn)一羲善數(shù)據(jù)管理制度，用大數(shù)據(jù)理念梳理并完善各警種的數(shù)字資源管 理，構(gòu)建集曰常工作、預(yù)警提示、決策支持與服務(wù)為一體的大數(shù)據(jù)應(yīng)用體系， 尤其是建立和規(guī)范實時數(shù)據(jù)和視頻數(shù)據(jù)的存儲管理機(jī)制，形成以專業(yè)數(shù)據(jù)庫為 基礎(chǔ)、中心數(shù)據(jù)庫為核心包括實時數(shù)據(jù)庫和空間數(shù)據(jù)庫的涵蓋數(shù)據(jù)入庫、質(zhì)量 控制、數(shù)據(jù)標(biāo)準(zhǔn)化與數(shù)據(jù)整合的數(shù)據(jù)管理體系。3.3 公安數(shù)據(jù)集市從公安業(yè)務(wù)需求和信息化的實際情況來看，建立地區(qū)級的數(shù)據(jù)倉庫應(yīng)該是 下一步工作的主要方向。目前可以以中心數(shù)據(jù)庫為基礎(chǔ)建立地區(qū)級數(shù)據(jù)倉庫， 梳理和構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)項、數(shù)據(jù)評測指標(biāo)體系，實現(xiàn)業(yè)務(wù)分析對象與指標(biāo)體系 的靈活、快速組合，滿足各級用戶曰常數(shù)據(jù)分析的個性化需求，提高用戶數(shù)據(jù) 綜合分析能力，為大數(shù)據(jù)在共享、預(yù)測、研判等應(yīng)用方面提供基礎(chǔ)支撐，提高 深層次業(yè)務(wù)數(shù)據(jù)分析能力，并促進(jìn)各級管理水平的提升。該系統(tǒng)的功能主要包 括指標(biāo)體系定義、分析對象自定義、指標(biāo)連續(xù)性跟蹤、數(shù)據(jù)與圖形一體化展 示、成果分布和共享、標(biāo)準(zhǔn)化分析、靈活數(shù)據(jù)查詢等。3.4 開展分析平臺建設(shè)以正在運行的公安業(yè)務(wù)系統(tǒng)數(shù)據(jù)為基礎(chǔ)，建立各種業(yè)務(wù)的業(yè)務(wù)分析模型， 包括預(yù)警