軟件平臺關(guān)鍵技術(shù)及非功能性設(shè)計

軟件平臺關(guān)鍵技術(shù)及非功能性設(shè)計方案一、關(guān)鍵技術(shù)設(shè)計1、多源異構(gòu)數(shù)據(jù)融合技術(shù)多源異構(gòu)數(shù)據(jù)融合技術(shù)是一個集數(shù)據(jù)實時同步、數(shù)據(jù)內(nèi)容校驗、同步監(jiān)控管理于一體的高性能應(yīng)用，為企業(yè)重構(gòu)數(shù)據(jù)庫環(huán)境、整合信息資源、提升系統(tǒng)協(xié)同能力、實時商務(wù)智能奠定基礎(chǔ)，在提供業(yè)務(wù)連續(xù)性保障的同時，滿足業(yè)務(wù)系統(tǒng)持續(xù)高可用的要求。多源異構(gòu)數(shù)據(jù)融合技術(shù)實現(xiàn)異構(gòu)支持、實時復(fù)制。實現(xiàn)數(shù)據(jù)復(fù)制管理功能，業(yè)務(wù)系統(tǒng)的底層數(shù)據(jù)庫和系統(tǒng)平臺可以是同構(gòu)的或異構(gòu)的，能夠?qū)崿F(xiàn)跨平臺、跨數(shù)據(jù)庫的實時數(shù)據(jù)復(fù)制，支持靈活的拓撲復(fù)制架構(gòu)，適應(yīng)企業(yè)IT部門的不同需求。通過將讀取到的關(guān)系型數(shù)據(jù)格式借助Schema模板進行特殊的轉(zhuǎn)換處理，最后同步到大數(shù)據(jù)平臺中，之后借助大數(shù)據(jù)平臺的高可靠性、高擴展性、高容錯性、高吞吐量等特點，從而為業(yè)務(wù)提供數(shù)據(jù)分析支撐，為用戶輕松運行處理海量數(shù)據(jù)應(yīng)用程序提供方便，從而適應(yīng)數(shù)據(jù)整合、分析、處理的需求。2、大數(shù)據(jù)平臺存儲技術(shù)大數(shù)據(jù)時代的數(shù)據(jù)量遠遠超過單機所能容納的數(shù)據(jù)量，因此，必須采用分布式存儲的方式，包括基于分布式存儲的文件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)：海量數(shù)據(jù)及互聯(lián)網(wǎng)應(yīng)用為眾多的機構(gòu)及服務(wù)人群提供服務(wù)，需處理海量的機構(gòu)和用戶數(shù)據(jù)，這就要求數(shù)據(jù)庫必須具備良好的拓展性，但這恰恰是傳統(tǒng)數(shù)據(jù)庫的弱勢之一。因為傳統(tǒng)的數(shù)據(jù)庫產(chǎn)品對于性能的擴展更傾向于Scale-Up（縱向擴展）的方式。但這種方式對于性能的增加速度遠低于需要處理數(shù)據(jù)的增長速度，且性能提升存在上限。適應(yīng)大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)應(yīng)當具有良好的Scale-Out（橫向擴展）能力，而這種性能擴展方式恰恰是傳統(tǒng)數(shù)據(jù)庫所不具備的。3、數(shù)據(jù)流式處理技術(shù)流式數(shù)據(jù)處理是一種處理模型，用于大規(guī)模數(shù)據(jù)集實時處理，特點就是像流水一樣，不是一次過來進行處理，而是一點一點流過來處理，當數(shù)據(jù)需要被分流時，只需要增加訂閱，則數(shù)據(jù)就會主動通知訂閱者。如果是全部收到數(shù)據(jù)后再進行處理，那么時效延遲會很大，而且會消耗大量內(nèi)存，所以根據(jù)預(yù)警需求，需要使用流式數(shù)據(jù)處理技術(shù)。數(shù)據(jù)平臺多源異構(gòu)數(shù)據(jù)處理技術(shù)是一種大數(shù)據(jù)流式處理框架，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算，極大地方便了編程人員將自己的程序運行在分布式系統(tǒng)上。、數(shù)據(jù)建模技術(shù)數(shù)學(xué)模型是對于現(xiàn)實世界的一個特定對象，一個特定目的，根據(jù)特有的內(nèi)在規(guī)律，做出一些必要的假設(shè),運用適當?shù)臄?shù)學(xué)工具，得到一個數(shù)學(xué)結(jié)構(gòu)。用于大數(shù)據(jù)分析、挖掘等方面。專業(yè)人士利用業(yè)務(wù)知識從數(shù)據(jù)中發(fā)現(xiàn)和解釋知識（或稱為模式）的過程即建模過程，所建數(shù)據(jù)模型將直接影響最終結(jié)果的優(yōu)劣。通過對各方面的數(shù)據(jù)進行分析，采用數(shù)學(xué)統(tǒng)計、機器學(xué)習(xí)等方法對機構(gòu)的運行、政策執(zhí)行、社會情況等進行分析，精準識別受益人員。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)分析主要借助云計算技術(shù)，采用時間序列、分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁挖掘等方法挖掘數(shù)據(jù)中的信息，并實現(xiàn)數(shù)據(jù)可視化。5、多源異構(gòu)數(shù)據(jù)云檢索技術(shù)多源異構(gòu)數(shù)據(jù)云檢索技術(shù)利用高效、安全、穩(wěn)定的快速索引建立機制，通過多策略、語義概念、關(guān)聯(lián)規(guī)則等多種查詢方式，實現(xiàn)海量多源異構(gòu)數(shù)據(jù)分布式全文檢索，用以支撐數(shù)十億級別的信息快速獲取，為大數(shù)據(jù)平臺提供支持。在充分保障數(shù)據(jù)安全與個人隱私保護的前提下，大數(shù)據(jù)平臺旨在最大限度的進行海量數(shù)據(jù)的匯總、存儲和分析，以期快速發(fā)掘信息內(nèi)在價值和信息共享，其中涉及了業(yè)務(wù)系統(tǒng)內(nèi)部生產(chǎn)數(shù)據(jù)、其他數(shù)據(jù)、社會化第三方數(shù)據(jù)，多源異構(gòu)數(shù)據(jù)檢索將直接影響到大數(shù)據(jù)分析的效率和結(jié)果的準確性。6、大數(shù)據(jù)隱私保護技術(shù)個人隱私保護和信息安全是大數(shù)據(jù)及互聯(lián)網(wǎng)應(yīng)用安全的重點?，F(xiàn)有的隱私保護和隱私執(zhí)行的國際標準，都是基于傳統(tǒng)的告知和許可的方式，即搜集信息時要告知個體要儲存他的信息，但這種模式在大數(shù)據(jù)環(huán)境下是不成立的。原因在于，大數(shù)據(jù)強調(diào)的是二次應(yīng)用，那么在二次應(yīng)用的時候，使用者無法預(yù)測將來數(shù)據(jù)的用途和功能。此外，大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)數(shù)據(jù)具有累積性和關(guān)聯(lián)性，單個地點的信息可能不會暴露用戶的隱私，但如果將某個人的多種行為從不同的獨立地點聚集在一起時，他的隱私就很可能會暴露。這種隱性的數(shù)據(jù)暴露往往是個人無法預(yù)知和控制的。同時，在現(xiàn)實中數(shù)據(jù)模式和數(shù)據(jù)內(nèi)容時刻都在發(fā)生著變化，這種數(shù)據(jù)的快速變化也給傳統(tǒng)的基于靜態(tài)數(shù)據(jù)集的隱私保護技術(shù)帶來了新的挑戰(zhàn)。因此數(shù)據(jù)及互聯(lián)網(wǎng)應(yīng)用隱私保護的主要目的是如何在復(fù)雜的大數(shù)據(jù)環(huán)境下實現(xiàn)對動態(tài)數(shù)據(jù)的利用和隱私保護。面對大數(shù)據(jù)時代帶來的數(shù)據(jù)公開與隱私保護的矛盾，搜索挖掘性能與隱私保護的矛盾，以及數(shù)據(jù)的累積、關(guān)聯(lián)、動態(tài)特征與傳統(tǒng)靜態(tài)隱私保護方法的矛盾等各種挑戰(zhàn)，如何基于現(xiàn)有的原始數(shù)據(jù)處理、訪問控制等隱私保護手段，探索補貼系統(tǒng)相關(guān)信息數(shù)據(jù)的隱私度量、數(shù)據(jù)分析過程中的隱私保護等，是本項目需要解決的一個關(guān)鍵問題。7、單向網(wǎng)閘的內(nèi)外網(wǎng)安全隔離技術(shù)為保證高密級別網(wǎng)絡(luò)中的數(shù)據(jù)不能流向低密級網(wǎng)絡(luò)，但低密級網(wǎng)絡(luò)中的數(shù)據(jù)可以流向高密級網(wǎng)絡(luò)（數(shù)據(jù)機密性要求），徹底解決高密級網(wǎng)絡(luò)信息泄露的問題，只有采用無反饋的單向傳輸技術(shù)。開發(fā)的安全隔離與信息單向?qū)胂到y(tǒng)采用了獨特的“單向無反饋傳輸”技術(shù)，從物理鏈路層、傳輸層保證數(shù)據(jù)的絕對單向流動。同時系統(tǒng)采用了獨創(chuàng)性的、先進的糾錯編碼技術(shù)、ASIC并行處理技術(shù)和MRP（多重冗余技術(shù)）保證系統(tǒng)的高可靠性、高容錯性、高安全性和高穩(wěn)定性。非功能性設(shè)計1、技術(shù)路線設(shè)計本系統(tǒng)設(shè)計采用成熟的應(yīng)用支撐軟件平臺，保證系統(tǒng)的可靠性、開放性、可維護性、先進性。應(yīng)用體系結(jié)構(gòu)用基于J2EE技術(shù)路線的三層體系結(jié)構(gòu)，應(yīng)用服務(wù)器采用WebLogic平臺。系統(tǒng)的設(shè)計、開發(fā)、部署、測試等均遵循軟件開發(fā)標準體系。操作系統(tǒng)采用開放的Unix操作系統(tǒng)或者Windows系列操作系統(tǒng)。應(yīng)用軟件對系統(tǒng)的調(diào)用應(yīng)該是通用的、可配置的。2、系統(tǒng)安全性設(shè)計本系統(tǒng)應(yīng)用成熟安全體系，防止系統(tǒng)外非法用戶的侵入和系統(tǒng)內(nèi)用戶的非法探測和惡意泄密，系統(tǒng)內(nèi)人員分級授權(quán)操作。為本項目建設(shè)提供涵蓋系統(tǒng)安全、應(yīng)用安全和數(shù)據(jù)安全等內(nèi)容的安全方案。3、規(guī)范性與標準性設(shè)計本項目設(shè)計在功能、安全、網(wǎng)絡(luò)等各方面符合電子政務(wù)建設(shè)、等各項標準和規(guī)范。同時，在系統(tǒng)設(shè)計上采用國際、國內(nèi)成熟的信息技術(shù)和先進的技術(shù)標準，能與其它系統(tǒng)互聯(lián)互通并具備擴展性和可維護性。4、性能設(shè)計本項目應(yīng)用系統(tǒng)以1秒的最大響應(yīng)時間處理100個并發(fā)用戶對各個業(yè)務(wù)流程頁面的訪問，此時服務(wù)器的CPU占用率不超過25%，內(nèi)存使用率不超過60%；峰值時刻允許響應(yīng)時間處長為2秒，此時服務(wù)器的CPU占用不超過30%，內(nèi)存使用率不超過70%。5、高可用性設(shè)計本系統(tǒng)采用高可用性設(shè)計，通過無單點故障設(shè)計，支持系統(tǒng)的連續(xù)運行。6、可靠性設(shè)計本系統(tǒng)采用主流的成熟的軟件架構(gòu)與軟件開發(fā)工具，提高應(yīng)用系統(tǒng)的開發(fā)質(zhì)量，減少軟件缺陷，提高平臺和應(yīng)用軟件的穩(wěn)定性、可靠性。7、易操作性設(shè)計本系統(tǒng)電腦操作界面清晰、簡潔，便于操作和維護，用戶能夠經(jīng)過較短時間的培訓(xùn)，就可學(xué)會系統(tǒng)的使用。提供操作用戶在線幫助信息和詳細完整的用戶使用指導(dǎo)手冊等，支持多種瀏覽器。8、可擴展性設(shè)計本系統(tǒng)充分考慮技術(shù)體系發(fā)展前景，適應(yīng)未來發(fā)展的需要。在設(shè)計時充分考慮系統(tǒng)的各種輸入輸