物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告

項(xiàng)目概述項(xiàng)目名稱項(xiàng)目名稱：XX項(xiàng)目承擔(dān)單位項(xiàng)目承擔(dān)單位：XX項(xiàng)目負(fù)責(zé)人：編制依據(jù)本報(bào)告的編制依據(jù)主要包括以下內(nèi)容：《國(guó)務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見(jiàn)》（國(guó)發(fā)〔2015〕40號(hào)）；《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》（國(guó)發(fā)〔2015〕50號(hào)）；《北京市大數(shù)據(jù)和云計(jì)算發(fā)展行動(dòng)計(jì)劃（2016—2020年）》；《計(jì)算機(jī)信息網(wǎng)絡(luò)國(guó)際聯(lián)網(wǎng)保密管理規(guī)定》國(guó)家保密局；《計(jì)算機(jī)軟件產(chǎn)品開(kāi)發(fā)文件編制指南》（GB8567-88）；《計(jì)算機(jī)軟件開(kāi)發(fā)規(guī)范》（GB8566-88）；《計(jì)算機(jī)軟件質(zhì)量保證計(jì)劃規(guī)范》（GB/T12504-90）；《計(jì)算機(jī)病毒防治管理辦法》中華人民共和國(guó)公安部令第51號(hào)；其他法律法規(guī)、相關(guān)文件等。項(xiàng)目建設(shè)內(nèi)容本項(xiàng)目行業(yè)大數(shù)據(jù)平臺(tái)主要建設(shè)內(nèi)容為：物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第8頁(yè)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第8頁(yè)。項(xiàng)目建設(shè)原則系統(tǒng)的總體設(shè)計(jì)應(yīng)遵循高標(biāo)準(zhǔn)嚴(yán)要求的原則，具備技術(shù)的穩(wěn)定性和業(yè)務(wù)系統(tǒng)的實(shí)用、方便性。1．先進(jìn)性和前瞻性在應(yīng)用系統(tǒng)實(shí)用、高效的基礎(chǔ)上，采用先進(jìn)的信息技術(shù)，適應(yīng)未來(lái)6-8年技術(shù)發(fā)展趨勢(shì)，具備一定的前瞻性，并保證系統(tǒng)管理、維護(hù)、升級(jí)和擴(kuò)展的方便性。2．開(kāi)放性及可擴(kuò)展性由于本項(xiàng)目中建設(shè)的平臺(tái)將為今后幾年全國(guó)XX相關(guān)數(shù)據(jù)收集分析工作提供支撐，因此要求軟件平臺(tái)應(yīng)具有良好的可擴(kuò)充、擴(kuò)展能力，能夠方便進(jìn)行系統(tǒng)升級(jí)和更新，以適應(yīng)今后業(yè)務(wù)的不斷發(fā)展。安全可靠性選用的主機(jī)服務(wù)器要求能夠支持高可用的持續(xù)服務(wù)技術(shù)，能夠連續(xù)7×24小時(shí)不間斷工作，出現(xiàn)故障及時(shí)告警，具有完整的操作權(quán)限管理功能和完善的系統(tǒng)安全機(jī)制，保證系統(tǒng)正常可靠運(yùn)行。保護(hù)投資保護(hù)既往投資、整合現(xiàn)有資源。系統(tǒng)建設(shè)立足對(duì)已有業(yè)務(wù)應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)等資源的完善與整合，重視業(yè)務(wù)流與信息流的結(jié)合和重組優(yōu)化，使既往投資和現(xiàn)有資源發(fā)揮更大作用。5．易于管理維護(hù)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第9頁(yè)。建設(shè)時(shí)充分考慮到管理維護(hù)的需要，保證系統(tǒng)建成后易于管理和維護(hù)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第9頁(yè)。投資估算主要依據(jù)原國(guó)家發(fā)展計(jì)劃委員會(huì)、信息產(chǎn)業(yè)部：《電信建設(shè)管理辦法》信息產(chǎn)業(yè)部《通信建設(shè)工程投資估算指標(biāo)》（試行）《關(guān)于認(rèn)真開(kāi)展電子工程監(jiān)理的通知》信息產(chǎn)業(yè)部信規(guī)（2000第206號(hào)文件）《信息系統(tǒng)工程造價(jià)指導(dǎo)書(shū)》中國(guó)市場(chǎng)出版社項(xiàng)目需求及市場(chǎng)調(diào)研。投資估算物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第10頁(yè)。根據(jù)項(xiàng)目建設(shè)的內(nèi)容和規(guī)模，依據(jù)國(guó)家有關(guān)部門的相關(guān)規(guī)定，在市場(chǎng)調(diào)研的基礎(chǔ)上，綜合考慮需求分析費(fèi)、系統(tǒng)設(shè)計(jì)費(fèi)、應(yīng)用軟件開(kāi)發(fā)費(fèi)、系統(tǒng)集成和調(diào)試費(fèi)等，XX行業(yè)大數(shù)據(jù)平臺(tái)建設(shè)總投資估算為XX萬(wàn)元，各分項(xiàng)價(jià)格如下表所示：物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第10頁(yè)。序號(hào)分項(xiàng)分項(xiàng)描述金額（萬(wàn)元）1需求分析項(xiàng)目需求調(diào)研，解決方案討論，產(chǎn)品原型圖設(shè)計(jì)與確認(rèn)2UI、UE設(shè)計(jì)所有頁(yè)面、交互設(shè)計(jì)、UI效果圖設(shè)計(jì)與確認(rèn)3系統(tǒng)開(kāi)發(fā)系統(tǒng)程序開(kāi)發(fā)4數(shù)據(jù)移植現(xiàn)有數(shù)據(jù)移植5項(xiàng)目管理、測(cè)試與發(fā)布項(xiàng)目管理、集成測(cè)試、部署與培訓(xùn)、產(chǎn)品發(fā)布GrandTotal總計(jì)：項(xiàng)目總投資估算表效益目標(biāo)績(jī)效目標(biāo)質(zhì)量目標(biāo)：系統(tǒng)建設(shè)之前，項(xiàng)目組會(huì)充分研究討論，并廣泛收集專家意見(jiàn)制定出最適合本項(xiàng)目的質(zhì)量控制標(biāo)準(zhǔn)，保證承建方嚴(yán)格按照質(zhì)量要求建設(shè)。時(shí)效目標(biāo)：與系統(tǒng)建設(shè)之前相比，系統(tǒng)建設(shè)投入使用以后可提高工作效率70%以上。成本目標(biāo)：軟件及實(shí)施、培訓(xùn)等投入控制在XXX萬(wàn)元人民幣以內(nèi)。效果目標(biāo)經(jīng)濟(jì)效益目標(biāo)：系統(tǒng)不直接產(chǎn)生經(jīng)濟(jì)效益。但系統(tǒng)運(yùn)行以后可增加中心影響力，提高服務(wù)能力，為XX行業(yè)發(fā)展等提供數(shù)據(jù)支撐，為各單相關(guān)企業(yè)節(jié)省支出，按照目前行業(yè)發(fā)展水平及相關(guān)服務(wù)費(fèi)用計(jì)算，每年可增加收入約XX萬(wàn)元。社會(huì)效益目標(biāo)：提高管理水平，降低管理層管理難度，提高用戶滿意度，促進(jìn)行業(yè)發(fā)展。環(huán)境效益目標(biāo)：本項(xiàng)目作為信息化建設(shè)的重要組成部分，在提高數(shù)字化水平，改善管理環(huán)境中起到至關(guān)重要的作用?？沙掷m(xù)目標(biāo)：經(jīng)過(guò)充分的系統(tǒng)論證，前瞻性的建設(shè)規(guī)劃，開(kāi)放式的平臺(tái)接口，在國(guó)家相關(guān)政策下本系統(tǒng)使用期限在6-8年以上。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第11頁(yè)。滿意度目標(biāo)：項(xiàng)目建設(shè)完成投入使用以后，要達(dá)到所有使用者滿意度不低于80%。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第11頁(yè)。建設(shè)背景及可行性建設(shè)背景時(shí)代背景當(dāng)今人類社會(huì)已經(jīng)進(jìn)入數(shù)字化和信息化時(shí)代，主要特征就表現(xiàn)在高效性、多樣性、綜合性等，在這樣的時(shí)代背景之下，人們的生活質(zhì)量顯著提高，計(jì)算機(jī)技術(shù)的發(fā)展是數(shù)字化和信息化時(shí)代出現(xiàn)的根本原因，在社會(huì)的各行各業(yè)之中，由于計(jì)算機(jī)技術(shù)的廣泛應(yīng)用，企事業(yè)單位開(kāi)始建立計(jì)算機(jī)網(wǎng)絡(luò)平臺(tái)，實(shí)現(xiàn)了信息的數(shù)字化管理，同時(shí)各企事業(yè)單位之間可利用互聯(lián)網(wǎng)進(jìn)行信息的交流與溝通，進(jìn)一步擴(kuò)展了數(shù)字化和信息化的普及范圍，數(shù)字化和信息化在世界范圍內(nèi)迅速普及，正在對(duì)經(jīng)濟(jì)、政治、文化、科技、軍事等各個(gè)領(lǐng)域產(chǎn)生重大影響，深刻改變著人們的生產(chǎn)、工作和生活方式，并將繼續(xù)對(duì)人類精神文明和物質(zhì)文明產(chǎn)生深遠(yuǎn)影響，引發(fā)人類社會(huì)生活層面的各種變革。政策背景2015年9月5日，經(jīng)李克強(qiáng)總理簽批，國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》（以下簡(jiǎn)稱《綱要》），系統(tǒng)部署大數(shù)據(jù)發(fā)展工作?！毒V要》是到目前為止我國(guó)促進(jìn)大數(shù)據(jù)發(fā)展的第一份權(quán)威性、系統(tǒng)性文件，從國(guó)家大數(shù)據(jù)發(fā)展戰(zhàn)略全局的高度，提出了我國(guó)大數(shù)據(jù)發(fā)展的頂層設(shè)計(jì)，是指導(dǎo)我國(guó)未來(lái)大數(shù)據(jù)發(fā)展的綱領(lǐng)性文件。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第12頁(yè)。《綱要》提出，要加強(qiáng)頂層設(shè)計(jì)和統(tǒng)籌協(xié)調(diào)，加大大數(shù)據(jù)關(guān)鍵技術(shù)研發(fā)、產(chǎn)業(yè)發(fā)展和人才培養(yǎng)力度，著力推進(jìn)數(shù)據(jù)匯集和發(fā)掘，深化大數(shù)據(jù)在各行業(yè)創(chuàng)新應(yīng)用，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展；完善法規(guī)制度和標(biāo)準(zhǔn)體系，科學(xué)規(guī)范利用大數(shù)據(jù)，切實(shí)保障數(shù)據(jù)安全。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第12頁(yè)。2017年1月17日工業(yè)和信息化部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016－2020年）》，規(guī)劃指出創(chuàng)新大數(shù)據(jù)技術(shù)服務(wù)模式。加快大數(shù)據(jù)服務(wù)模式創(chuàng)新，培育數(shù)據(jù)即服務(wù)新模式和新業(yè)態(tài)，提升大數(shù)據(jù)服務(wù)能力，降低大數(shù)據(jù)應(yīng)用門檻和成本。圍繞數(shù)據(jù)全生命周期各階段需求，發(fā)展數(shù)據(jù)采集、清洗、分析、交易、安全防護(hù)等技術(shù)服務(wù)。推進(jìn)大數(shù)據(jù)與云計(jì)算服務(wù)模式融合，促進(jìn)海量數(shù)據(jù)、大規(guī)模分布式計(jì)算和智能數(shù)據(jù)分析等公共云計(jì)算服務(wù)發(fā)展，提升第三方大數(shù)據(jù)技術(shù)服務(wù)能力。推動(dòng)大數(shù)據(jù)技術(shù)服務(wù)與行業(yè)深度結(jié)合，培育面向垂直領(lǐng)域的大數(shù)據(jù)服務(wù)模式。業(yè)務(wù)背景XX是現(xiàn)代經(jīng)濟(jì)的核心之一，國(guó)務(wù)院印發(fā)的《XX業(yè)發(fā)展中長(zhǎng)期規(guī)劃(2014~2020年)》明確提出要以提高XX效率、降低XX成本為重點(diǎn)。因此，在大數(shù)據(jù)時(shí)代背景下，XX行業(yè)也必須高度重視統(tǒng)計(jì)數(shù)據(jù)。

XX大數(shù)據(jù)可以劃分為三類：第一是微觀層面，包括運(yùn)輸、倉(cāng)儲(chǔ)、配送、包裝、流通加工等，第二是中觀層面，最顯著的影響是橫向流程延拓，縱向流程壓縮簡(jiǎn)化；從供需平衡角度出發(fā)，為供方(XX企業(yè))提供最大化的利潤(rùn)，為需方提供最佳的服務(wù)；第三是頂層設(shè)計(jì)，利用大數(shù)據(jù)技術(shù)把握行業(yè)動(dòng)態(tài)，預(yù)測(cè)發(fā)展趨勢(shì)，實(shí)現(xiàn)行業(yè)頂層規(guī)劃設(shè)計(jì)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第13頁(yè)。XX大數(shù)據(jù)發(fā)展比較緩慢。從細(xì)分市場(chǎng)來(lái)看，醫(yī)藥XX、冷鏈XX、電商XX等都在嘗試趕乘大數(shù)據(jù)這輛高速列車，大數(shù)據(jù)在XX中的應(yīng)用貫穿了整個(gè)XX的各個(gè)環(huán)節(jié)。主要表現(xiàn)在XX決策、XX企業(yè)行政管理、XX客戶管理及智能預(yù)警等過(guò)程中。XX業(yè)務(wù)具有突發(fā)性、隨機(jī)性、不均衡性等特點(diǎn)，通過(guò)大數(shù)據(jù)分析，可以有效了解用戶偏好，市場(chǎng)情況，預(yù)判可能，提前做好準(zhǔn)備，從而為行業(yè)健康快速發(fā)展奠定基礎(chǔ)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第13頁(yè)。XX現(xiàn)行網(wǎng)站及相關(guān)業(yè)務(wù)系統(tǒng)建設(shè)時(shí)間較早，在當(dāng)前使用過(guò)程中，存在諸多問(wèn)題，包含如下：業(yè)務(wù)邊界較窄：中心工作任務(wù)相對(duì)系統(tǒng)建設(shè)初期有了較大變化，現(xiàn)有系統(tǒng)所支撐業(yè)務(wù)范圍較窄，如政策信息、XX數(shù)據(jù)的采集、統(tǒng)計(jì)分析等，現(xiàn)有信息系統(tǒng)已無(wú)法滿足新的需求；業(yè)務(wù)模式不足：中心工作任務(wù)涵蓋省市級(jí)、地市級(jí)、地方社團(tuán)三級(jí)體系相關(guān)數(shù)據(jù)報(bào)送，現(xiàn)有系統(tǒng)所支撐業(yè)務(wù)的業(yè)務(wù)流程相對(duì)單一，已無(wú)法更快更準(zhǔn)確的對(duì)用戶需求做出響應(yīng)；業(yè)務(wù)規(guī)模較?。含F(xiàn)有信息系統(tǒng)所支撐業(yè)務(wù)的業(yè)務(wù)量、用戶量較小，并發(fā)量達(dá)到一定規(guī)模時(shí)系統(tǒng)會(huì)發(fā)生卡頓甚至崩潰；數(shù)據(jù)安全無(wú)法保障：由于系統(tǒng)建設(shè)時(shí)間較長(zhǎng)，為數(shù)據(jù)處理系統(tǒng)建立和采用的技術(shù)和管理的安全保護(hù)手段已無(wú)法更新維護(hù)，計(jì)算機(jī)硬件、軟件和數(shù)據(jù)會(huì)有遭到破壞、更改和泄露的危險(xiǎn)，其中數(shù)據(jù)包含各企業(yè)詳細(xì)信息、統(tǒng)計(jì)數(shù)據(jù)及相關(guān)保密數(shù)據(jù)等，發(fā)生泄漏后會(huì)造成不可預(yù)估的損失。綜上所述，在當(dāng)前背景下，為了強(qiáng)化經(jīng)濟(jì)、XX等數(shù)據(jù)監(jiān)測(cè)分析，建立規(guī)范化指標(biāo)體系，推進(jìn)數(shù)據(jù)共享和業(yè)務(wù)協(xié)同，為決策提供及時(shí)、準(zhǔn)確、可靠的信息依據(jù)，提高工作的前瞻性和針對(duì)性，加大宏觀調(diào)控力度，XX中心行業(yè)大數(shù)據(jù)平臺(tái)建設(shè)顯的非常必要和迫切。項(xiàng)目可行性政策環(huán)境可行性物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第14頁(yè)。2015年9月，經(jīng)李克強(qiáng)總理簽批，國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，自此“大數(shù)據(jù)”“云平臺(tái)”等政策措施密集出臺(tái)，自“大數(shù)據(jù)”上升為國(guó)家戰(zhàn)略以來(lái)，國(guó)家部委和地方政府紛紛發(fā)布“大數(shù)據(jù)”領(lǐng)域的政策文件。2017年1月工業(yè)和信息化部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016－2020年）》，提出全面提升我國(guó)大數(shù)據(jù)的資源掌控能力、技術(shù)支撐能力和價(jià)值挖掘能力，“大數(shù)據(jù)”環(huán)境愈加堅(jiān)實(shí)，為XX行業(yè)大數(shù)據(jù)平臺(tái)建設(shè)指明了方向。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第14頁(yè)。技術(shù)可行性目前，XX行業(yè)大數(shù)據(jù)平臺(tái)的核心是對(duì)數(shù)據(jù)的收集、處理與分析，通過(guò)整合數(shù)據(jù)和業(yè)務(wù)流程流轉(zhuǎn)控制實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)相關(guān)功能，架構(gòu)一個(gè)能夠提供數(shù)據(jù)采集、流程控制和挖掘分析服務(wù)的大數(shù)據(jù)技術(shù)處理平臺(tái)，并具有健壯性、可擴(kuò)展性和技術(shù)先進(jìn)性，目前國(guó)內(nèi)相關(guān)技術(shù)已達(dá)到實(shí)用水平，并有了相對(duì)成熟的產(chǎn)品，為上述實(shí)現(xiàn)提供了可能。本平臺(tái)建成后與現(xiàn)有系統(tǒng)比較主要優(yōu)越性有：簡(jiǎn)單性：在實(shí)現(xiàn)平臺(tái)的功能的同時(shí)，盡量讓平臺(tái)操作簡(jiǎn)單易懂，這對(duì)于一個(gè)平臺(tái)來(lái)說(shuō)是非常重要的。針對(duì)性：該平臺(tái)設(shè)計(jì)包含網(wǎng)上數(shù)據(jù)報(bào)送及后臺(tái)管理等定向開(kāi)發(fā)設(shè)計(jì)，具有專業(yè)突出和很強(qiáng)的針對(duì)性。實(shí)用性：該平臺(tái)能完成相關(guān)數(shù)據(jù)采集、調(diào)查、報(bào)送等，具有良好的實(shí)用性。經(jīng)濟(jì)可行性物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第15頁(yè)。XX行業(yè)大數(shù)據(jù)平臺(tái)建設(shè)將本著減少重復(fù)建設(shè)、節(jié)約投資、充分利用已有資源、協(xié)調(diào)利用已有互聯(lián)網(wǎng)管理系統(tǒng)資源的原則進(jìn)行建設(shè)。本項(xiàng)目作為信息中心的主要保障條件建設(shè)項(xiàng)目，建成后可提升中心的服務(wù)環(huán)境、提高工作效率和科學(xué)管理水平，直接和間接地產(chǎn)生效益。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第15頁(yè)。一次性收益縮短各業(yè)務(wù)人員數(shù)據(jù)報(bào)送、審核周期，提高工作效率，可以依據(jù)縮短時(shí)間的天數(shù)和工作量的減少，酌情不再新增辦公人員，使勞動(dòng)力資源得到更合理的利用，從而降低了信息化建設(shè)項(xiàng)目成本，避免了消耗，減少了管理費(fèi)用的支出等。不可定量收益使管理人員決策及時(shí)、準(zhǔn)確、更科學(xué)化；使信息中心上下級(jí)的信息流通結(jié)構(gòu)更趨合理；提高中心公信力，擴(kuò)大影響力，增強(qiáng)競(jìng)爭(zhēng)力；提高用戶滿意度等。以上這些方面的效益一般不能通過(guò)定量計(jì)算得到，具有一定的隱含性質(zhì)和延遲性，但對(duì)于XX的管理以及發(fā)展、壯大都具有不可定量的收益。需求分析非功能性需求靈活性需求本部分主要說(shuō)明XX行業(yè)大數(shù)據(jù)平臺(tái)要具備適應(yīng)需求發(fā)生變化（業(yè)務(wù)變化及機(jī)構(gòu)變化）的能力。（1）平臺(tái)在設(shè)計(jì)時(shí)，應(yīng)充分考慮XX業(yè)務(wù)需求的變化和功能整合的可擴(kuò)展性、方便性、快捷性，以適應(yīng)可能的各種變化和發(fā)展。（2）應(yīng)充分考慮系統(tǒng)與機(jī)構(gòu)的無(wú)關(guān)性、與硬件的無(wú)關(guān)性及處理存儲(chǔ)分布性，當(dāng)業(yè)務(wù)需求發(fā)生變化時(shí)，能快速修改業(yè)務(wù)過(guò)程，對(duì)已有系統(tǒng)的影響盡可能小，對(duì)程序的改變只涉及相對(duì)獨(dú)立的局部，而不會(huì)對(duì)其他部分或整體造成影響。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第16頁(yè)。（3）平臺(tái)應(yīng)具有獨(dú)立性，應(yīng)充分考慮使用開(kāi)放性標(biāo)準(zhǔn)來(lái)確保相對(duì)獨(dú)立于硬件和軟件產(chǎn)品廠商，同時(shí)易于實(shí)現(xiàn)軟硬件系統(tǒng)集成。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第16頁(yè)。安全性需求數(shù)據(jù)安全（1）數(shù)據(jù)在傳輸過(guò)程中，對(duì)敏感數(shù)據(jù)進(jìn)行加密；（2）所有對(duì)敏感數(shù)據(jù)的存取權(quán)限應(yīng)該嚴(yán)格控制，并利用日志進(jìn)行全程記錄跟蹤；（3）對(duì)登錄過(guò)程進(jìn)行監(jiān)管、記錄以控制對(duì)敏感數(shù)據(jù)的存取。應(yīng)用安全（1）為開(kāi)發(fā)、測(cè)試、培訓(xùn)和運(yùn)行提供各自獨(dú)立的環(huán)境，以便軟件集成的維護(hù)和版本的有效控制；（2）建立程序改進(jìn)過(guò)程，以便加強(qiáng)軟件版本控制；（3）在控制和審計(jì)狀態(tài)下完成計(jì)算機(jī)設(shè)備和軟件的安裝；（4）在確認(rèn)測(cè)試成功后運(yùn)行系統(tǒng)。系統(tǒng)存取權(quán)限控制（1）定義與登錄系統(tǒng)活動(dòng)相關(guān)的日志文件，比如成功登錄和不成功登錄活動(dòng)、授權(quán)用戶賬號(hào)活動(dòng)、用戶存取權(quán)限變更、軟件密碼的改變和修改等活動(dòng)；（2）系統(tǒng)保存的日志可以提供充分的信息以支持審計(jì)和安全度量；（3）日志需要保存一定的時(shí)間；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第17頁(yè)。（4）采取嚴(yán)格的密碼設(shè)定策略，比如：最小的密碼長(zhǎng)度、最初的任務(wù)、限制詞和格式、密碼聲明周期、用戶密碼指南等；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第17頁(yè)。（5）用戶在授權(quán)下訪問(wèn)網(wǎng)絡(luò)資源；（6）對(duì)遠(yuǎn)程系統(tǒng)的連接進(jìn)行驗(yàn)證；（7）實(shí)施嚴(yán)格的系統(tǒng)監(jiān)管，以確保各類操作滿足存取權(quán)限標(biāo)準(zhǔn)。數(shù)據(jù)保密需求XX行業(yè)大數(shù)據(jù)平臺(tái)中包含大量企業(yè)數(shù)據(jù)和敏感信息。因此系統(tǒng)在設(shè)計(jì)時(shí)要求制定一套有效的保密措施以確保這些信息的保密性，同時(shí)需要預(yù)防外部侵?jǐn)_的破壞，防止信息泄露。（1）系統(tǒng)須防止非法訪問(wèn)、修改數(shù)據(jù)。除根據(jù)有關(guān)法律、法規(guī)而進(jìn)行的數(shù)據(jù)披露外，這些數(shù)據(jù)不能被泄露；（2）系統(tǒng)須采取“錄入—復(fù)核”雙人操作，確保變更的準(zhǔn)確性和有效性，所有的歷史信息必須被保存并能夠被查詢，同時(shí)要采用詳細(xì)的日志記載修改的操作。災(zāi)難恢復(fù)需求XX行業(yè)大數(shù)據(jù)平臺(tái)包含敏感信息，所以必須有較高的健壯性，有完整的數(shù)據(jù)備份及災(zāi)難恢復(fù)機(jī)制。這里所說(shuō)的災(zāi)難，是指計(jì)算機(jī)系統(tǒng)受火災(zāi)、水災(zāi)或人為破壞而產(chǎn)生的嚴(yán)重的后果，災(zāi)難恢復(fù)是指災(zāi)難產(chǎn)生后迅速采取措施恢復(fù)計(jì)算機(jī)系統(tǒng)的正常運(yùn)行。（1）本系統(tǒng)中的重要網(wǎng)絡(luò)和計(jì)算機(jī)設(shè)備、以及重要的通信線路，需要采用冗余備份措施（冷備份、熱備份和負(fù)載均衡相結(jié)合）；（2）本系統(tǒng)中的數(shù)據(jù)，除了要采取各種備份措施之外，還必須設(shè)立一整套完善的災(zāi)難恢復(fù)機(jī)制；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第18頁(yè)。（3）在數(shù)據(jù)備份過(guò)程系統(tǒng)應(yīng)對(duì)數(shù)據(jù)進(jìn)行壓縮，以便使數(shù)據(jù)量盡可能小，減少存儲(chǔ)空間；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第18頁(yè)。（4）數(shù)據(jù)在恢復(fù)時(shí)要指定介質(zhì)、時(shí)間、數(shù)據(jù)類型、機(jī)構(gòu)等相關(guān)信息，經(jīng)過(guò)確認(rèn)后才可以恢復(fù)，以避免錯(cuò)誤覆蓋現(xiàn)象；（5）備份的介質(zhì)要編寫(xiě)序號(hào)，歸檔管理，專人負(fù)責(zé)保管。系統(tǒng)集成需求平臺(tái)數(shù)據(jù)吞吐量大，計(jì)算密集度高。在系統(tǒng)集成里，要充分考慮整個(gè)系統(tǒng)數(shù)據(jù)量大小、數(shù)據(jù)流量和處理量的大小，在此基礎(chǔ)上對(duì)整個(gè)系統(tǒng)的基礎(chǔ)設(shè)施、業(yè)務(wù)系統(tǒng)和安全體系進(jìn)行集成，涵蓋了總體技術(shù)架構(gòu)設(shè)計(jì)、主機(jī)和存儲(chǔ)設(shè)計(jì)、各種系統(tǒng)的選型與集成、已有系統(tǒng)及數(shù)據(jù)的遷移、各種硬件設(shè)備配置和報(bào)價(jià)、所提供的各種服務(wù)等?；A(chǔ)設(shè)施類集成基礎(chǔ)設(shè)施類的集成包括：網(wǎng)絡(luò)系統(tǒng)集成、計(jì)算設(shè)備安裝調(diào)試、系統(tǒng)軟件或工具的部署調(diào)試?；A(chǔ)設(shè)施的集成主要體現(xiàn)在設(shè)備的采購(gòu)、物理連接、安裝、部署、調(diào)試、驗(yàn)收等方面。網(wǎng)絡(luò)連接可分解成內(nèi)網(wǎng)連接、外網(wǎng)連接、網(wǎng)絡(luò)設(shè)備安裝調(diào)試等。計(jì)算設(shè)備集成可分解成主機(jī)系統(tǒng)、存儲(chǔ)系統(tǒng)、備份系統(tǒng)的安裝和調(diào)試。軟件開(kāi)發(fā)工具和支撐環(huán)境可分解成數(shù)據(jù)庫(kù)管理系統(tǒng)、智能檢索系統(tǒng)等。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第19頁(yè)。建設(shè)XX行業(yè)大數(shù)據(jù)平臺(tái)局域網(wǎng)，進(jìn)行軟硬件系統(tǒng)集成，系統(tǒng)應(yīng)該具有平臺(tái)獨(dú)立性，應(yīng)充分考慮使用開(kāi)放性標(biāo)準(zhǔn)來(lái)確保相對(duì)獨(dú)立于硬件和軟件產(chǎn)品廠商，同時(shí)易于實(shí)現(xiàn)軟硬件系統(tǒng)集成。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第19頁(yè)。業(yè)務(wù)應(yīng)用類集成應(yīng)用集成是在不同的應(yīng)用系統(tǒng)之間實(shí)現(xiàn)功能的調(diào)用，通過(guò)應(yīng)用集成實(shí)現(xiàn)不同系統(tǒng)功能和信息共享；還有一類應(yīng)用集成是具有數(shù)據(jù)分析應(yīng)用的子項(xiàng)系統(tǒng)需要調(diào)用支撐平臺(tái)上面部署的統(tǒng)計(jì)分析工具提供的功能，實(shí)現(xiàn)工具的集中部署，分布應(yīng)用。這些功能的調(diào)用需要按照不同工具提供的訪問(wèn)模式和信息交換格式進(jìn)行。安全體系集成安全體系涉及系統(tǒng)的所有層面，集成時(shí)要通盤考慮。其中，網(wǎng)絡(luò)的安全管理和網(wǎng)絡(luò)建設(shè)息息相關(guān)。應(yīng)用安全體系和應(yīng)用系統(tǒng)的建設(shè)和集成關(guān)系緊密。XX行業(yè)大數(shù)據(jù)平臺(tái)要實(shí)現(xiàn)穩(wěn)定、持續(xù)運(yùn)行，實(shí)現(xiàn)用戶認(rèn)證、權(quán)限管理、數(shù)據(jù)安全備份和災(zāi)難性恢復(fù)等安全保障功能。功能性需求整體用例圖建設(shè)內(nèi)容通過(guò)對(duì)XX業(yè)務(wù)的梳理，本項(xiàng)目主要建設(shè)內(nèi)容分為以下幾個(gè)模塊：一體化網(wǎng)站：數(shù)據(jù)報(bào)送：網(wǎng)絡(luò)信息采集：整合企業(yè)資源物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第20頁(yè)。靈活可控的統(tǒng)計(jì)指標(biāo)體系管理；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第20頁(yè)。依據(jù)數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)平臺(tái)等實(shí)現(xiàn)對(duì)XX數(shù)據(jù)、倉(cāng)儲(chǔ)數(shù)據(jù)的深度挖掘統(tǒng)計(jì)，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)可視化展示等。數(shù)據(jù)遷移：已有數(shù)據(jù)庫(kù)（包括數(shù)據(jù)庫(kù)和文件）完整移植（導(dǎo)入、校驗(yàn)）等。方案設(shè)計(jì)建設(shè)目標(biāo)項(xiàng)目以“技術(shù)引領(lǐng)，應(yīng)用為本”為核心導(dǎo)向，以政企用戶為主要服務(wù)對(duì)象，以分布式并行計(jì)算框架為基礎(chǔ)，充分應(yīng)用多元數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)檢索和智能文本挖掘、機(jī)器學(xué)習(xí)等先進(jìn)技術(shù)，構(gòu)建XX行業(yè)大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)平臺(tái)包括數(shù)據(jù)預(yù)處理系統(tǒng)、海量數(shù)據(jù)存儲(chǔ)檢索、數(shù)據(jù)智能挖掘分析。數(shù)據(jù)預(yù)處理系統(tǒng)實(shí)現(xiàn)對(duì)多源數(shù)據(jù)的接入、預(yù)處理和數(shù)據(jù)入庫(kù)等功能；數(shù)據(jù)統(tǒng)一存儲(chǔ)在海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)中，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、管理、檢索等功能；同時(shí)，為應(yīng)用層提供數(shù)據(jù)智能挖掘分析服務(wù)，及對(duì)數(shù)據(jù)進(jìn)行準(zhǔn)確分析，提供潛在的有價(jià)值的信息。設(shè)計(jì)理念物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第21頁(yè)。XX行業(yè)大數(shù)據(jù)平臺(tái)的建設(shè)應(yīng)當(dāng)采?。骸爸贫ㄒ?guī)范——搭建框架——業(yè)務(wù)開(kāi)發(fā)——集成”的模式，其中“制定規(guī)范、搭建框架”最為重要。具體的開(kāi)發(fā)模式如下圖所示：物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第21頁(yè)。開(kāi)發(fā)模式示意圖采用這種模式是出于以下幾點(diǎn)考慮：項(xiàng)目設(shè)計(jì)和建設(shè)過(guò)程中，必須加強(qiáng)標(biāo)準(zhǔn)化建設(shè)，發(fā)揮標(biāo)準(zhǔn)化的指導(dǎo)、協(xié)調(diào)和優(yōu)化作用，少走彎路，提高效率，確保系統(tǒng)運(yùn)行安全，發(fā)揮預(yù)期效能。平臺(tái)建設(shè)任務(wù)重、業(yè)務(wù)專業(yè)性強(qiáng)，要想高效地完成實(shí)施，必然要并行展開(kāi)，分步實(shí)施。為此需要首先搭建整體框架。各個(gè)子系統(tǒng)的實(shí)施必須在整體框架中進(jìn)行。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第22頁(yè)。行業(yè)大數(shù)據(jù)平臺(tái)面臨集成問(wèn)題，包括新建各個(gè)業(yè)務(wù)系統(tǒng)的集成、與現(xiàn)有地方協(xié)會(huì)系統(tǒng)和其它部門的數(shù)據(jù)交換等。為此，采用首先搭建框架，在框架解決集成接口的問(wèn)題，各個(gè)業(yè)務(wù)系統(tǒng)也通過(guò)框架接口與外部交互，從而統(tǒng)一了要集成系統(tǒng)與平臺(tái)的交互界面，簡(jiǎn)化了業(yè)務(wù)系統(tǒng)的接口工作。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第22頁(yè)。大數(shù)據(jù)平臺(tái)建設(shè)是個(gè)不斷發(fā)展完善的過(guò)程，功能將會(huì)不斷修改、擴(kuò)充，一個(gè)好的框架可以確保系統(tǒng)在修改、擴(kuò)充時(shí)，影響范圍最小。設(shè)計(jì)原則大數(shù)據(jù)平臺(tái)建設(shè)要做到“兩結(jié)合一兼顧”。首先是技術(shù)先進(jìn)性與成熟性相結(jié)合，既要保持一定時(shí)期內(nèi)技術(shù)領(lǐng)先性，又要實(shí)現(xiàn)系統(tǒng)運(yùn)行的穩(wěn)定性。其次是應(yīng)用需求和客觀條件相結(jié)合，設(shè)計(jì)低成本高效用的建設(shè)方案，同時(shí)兼顧系統(tǒng)的可擴(kuò)展性、可靠性、安全性等要求。實(shí)用性與可行性：根據(jù)業(yè)務(wù)需求，既要最大限度地滿足業(yè)務(wù)上的各項(xiàng)功能要求，又要確保實(shí)用性，具有良好的性能價(jià)格比；先進(jìn)性：采用先進(jìn)、成熟、實(shí)用的技術(shù)，既要實(shí)現(xiàn)各業(yè)務(wù)部門的功能，又要確保在未來(lái)幾年內(nèi)其技術(shù)仍能滿足應(yīng)用發(fā)展的需求；開(kāi)放性：采用的各種設(shè)備（軟、硬件）均應(yīng)符合通用標(biāo)準(zhǔn)，符合開(kāi)放設(shè)計(jì)原則，使用的技術(shù)要與技術(shù)發(fā)展的潮流吻合，具有良好的開(kāi)放性、技術(shù)延伸性、技術(shù)親合性，要充分考慮后期工程的需要。能夠滿足業(yè)務(wù)不斷增長(zhǎng)的需求。在軟件、協(xié)議、服務(wù)和傳輸方面提供更多選擇，使用模塊化設(shè)計(jì)、集群分布方案，可根據(jù)需求變動(dòng)適當(dāng)取舍；安全性：保證數(shù)據(jù)的高安全性，從設(shè)備和技術(shù)上采取必要的防范措施（物理隔離、防火墻和防毒墻技術(shù)），使整個(gè)網(wǎng)站在受到有意、無(wú)意的非法侵入時(shí)，被破壞的可能達(dá)到最小程度；可靠性和容錯(cuò)性：在設(shè)計(jì)中要考慮整體的可靠性，根據(jù)設(shè)備的功能、重要性等分別采用冗余、容錯(cuò)等技術(shù)，以保證局部的錯(cuò)誤不影響整體運(yùn)行；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第23頁(yè)?？缮炜s性：支持多種硬件平臺(tái)以及不斷發(fā)展的業(yè)務(wù)和用戶需求；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第23頁(yè)。靈活性：易于修改，并可在軟件、協(xié)議、服務(wù)和傳輸方面提供更多選擇，使用模塊化設(shè)計(jì)方案，可根據(jù)需求變動(dòng)適當(dāng)取舍?？晒芾硇裕耗軌?qū)崟r(shí)地管理網(wǎng)站運(yùn)行，動(dòng)態(tài)配置資源，構(gòu)成高效安全的運(yùn)行環(huán)境，監(jiān)視系統(tǒng)中的錯(cuò)誤，及時(shí)排除故障，使整個(gè)系統(tǒng)能夠堅(jiān)持長(zhǎng)時(shí)間的無(wú)故障運(yùn)行；易維護(hù)性：系統(tǒng)的管理、維護(hù)和維修應(yīng)具有簡(jiǎn)易性和可行性?？傮w架構(gòu)設(shè)計(jì)根據(jù)大數(shù)據(jù)處理技術(shù)平臺(tái)項(xiàng)目的建設(shè)要求，總體架構(gòu)圖如下圖所示：系統(tǒng)架構(gòu)圖數(shù)據(jù)源：包括各子系統(tǒng)應(yīng)用數(shù)據(jù)、報(bào)送數(shù)據(jù)、網(wǎng)絡(luò)信息采集數(shù)據(jù)及系統(tǒng)運(yùn)行數(shù)據(jù)等。大數(shù)據(jù)計(jì)算：包括數(shù)據(jù)清洗、數(shù)據(jù)入庫(kù)、數(shù)據(jù)計(jì)算、數(shù)據(jù)挖掘等。服務(wù)接口：web服務(wù)、rest服務(wù)、標(biāo)準(zhǔn)接口（包括API、HTTP、WebService、微服務(wù)等）。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第24頁(yè)。業(yè)務(wù)應(yīng)用：根據(jù)權(quán)限模型對(duì)各用戶（各業(yè)務(wù)部門、服務(wù)使用者及決策者等）提供高效完善的系統(tǒng)應(yīng)用服務(wù)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第24頁(yè)。技術(shù)架構(gòu)設(shè)計(jì)技術(shù)架構(gòu)技術(shù)架構(gòu)主要包括數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理計(jì)算、數(shù)據(jù)智能挖掘分析。數(shù)據(jù)集成采用sqoop、flume、kettle等實(shí)現(xiàn)數(shù)據(jù)的接入、轉(zhuǎn)換、入庫(kù)等操作，同時(shí)采用文本挖掘系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作。數(shù)據(jù)存儲(chǔ)采用Hadoop分布式文件系統(tǒng)(HDFS)，分布式數(shù)據(jù)庫(kù)HBase進(jìn)行數(shù)據(jù)存儲(chǔ)，并通過(guò)rdbms關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行管理，支持海量數(shù)據(jù)存儲(chǔ)、高效索引和檢索等服務(wù)。數(shù)據(jù)處理計(jì)算基于yarn、zookeeper的Hadoop集群安裝，通過(guò)ooize、spark、hive等提供數(shù)據(jù)處理計(jì)算服務(wù)。數(shù)據(jù)智能挖掘分析物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第25頁(yè)。主要是實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的挖掘分析功能，由實(shí)時(shí)計(jì)算框架（SparkStreaming）、離線計(jì)算框架（MapReduce）以分布式消息隊(duì)列（Kafka）、數(shù)據(jù)挖掘引擎（Mahout）構(gòu)成。針對(duì)數(shù)據(jù)特點(diǎn)，智能分析模型系統(tǒng)結(jié)合了業(yè)界最領(lǐng)先的技術(shù)提供豐富的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)服務(wù)，可以滿足各種數(shù)據(jù)處理存儲(chǔ)的應(yīng)用場(chǎng)景。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第25頁(yè)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第26頁(yè)。整個(gè)系統(tǒng)中的各個(gè)分系統(tǒng)都提供接口服務(wù)，接口方式包括包括API、HTTP、WebService、微服務(wù)等，通過(guò)接口的調(diào)用，可以靈活構(gòu)建豐富的上層系統(tǒng)功能應(yīng)用。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第26頁(yè)。網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第27頁(yè)。平臺(tái)通過(guò)數(shù)據(jù)接收服務(wù)器接收不同數(shù)據(jù)源的數(shù)據(jù)，接收到的數(shù)據(jù)會(huì)臨時(shí)落地，再經(jīng)由數(shù)據(jù)推送服務(wù)器創(chuàng)建數(shù)據(jù)推送任務(wù)，調(diào)用預(yù)處理服務(wù)器的數(shù)據(jù)預(yù)處理子系統(tǒng)和智能分析服務(wù)器的智能分析子系統(tǒng)進(jìn)行數(shù)據(jù)推送、數(shù)據(jù)處理及數(shù)據(jù)入庫(kù)服務(wù)，數(shù)據(jù)入庫(kù)后進(jìn)行數(shù)據(jù)存儲(chǔ)、索引，并可對(duì)外提供檢索服務(wù)和智能分析服務(wù)。各服務(wù)平臺(tái)均提供對(duì)外接口，供系統(tǒng)間及第三方平臺(tái)調(diào)用，接口詳細(xì)設(shè)計(jì)系統(tǒng)接口設(shè)計(jì)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第27頁(yè)。系統(tǒng)非功能性設(shè)計(jì)跨平臺(tái)性大數(shù)據(jù)處理技術(shù)平臺(tái)具有跨平臺(tái)性，可以運(yùn)行在常見(jiàn)操作系統(tǒng)（Windows或Linux）和應(yīng)用服務(wù)器中間件平臺(tái)上，支持私有云和公有云平臺(tái)部署。系統(tǒng)安全設(shè)計(jì)數(shù)據(jù)層安全物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第28頁(yè)。數(shù)據(jù)層的安全主要是指保護(hù)數(shù)據(jù)庫(kù)以防止不合法使用造成的數(shù)據(jù)泄露更改或者破壞，用來(lái)保證數(shù)據(jù)庫(kù)中數(shù)據(jù)的完整性，一致性以及數(shù)據(jù)庫(kù)備份與恢復(fù)。數(shù)據(jù)庫(kù)的安全性和計(jì)算機(jī)系統(tǒng)的安全性（包括操作系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)的安全性）相互聯(lián)系，相互支持，只有各個(gè)環(huán)節(jié)都安全，才能保證數(shù)據(jù)庫(kù)的安全性。當(dāng)前對(duì)數(shù)據(jù)庫(kù)安全的威脅主要分為物理上的威脅和邏輯上的威脅。物理上的威脅指水災(zāi)火災(zāi)等造成的硬件故障，從而導(dǎo)致數(shù)據(jù)的損壞和丟失等。為了消除物理上的威脅通常采用備份和恢復(fù)的策略。邏輯上的威脅主要是指對(duì)信息的未被授權(quán)的存取。為了消除邏輯上的威脅，DBMS必須提供可靠地安全側(cè)羅，以確保數(shù)據(jù)庫(kù)的安全性。當(dāng)前所采用的數(shù)據(jù)庫(kù)安全技術(shù)主要有標(biāo)志和鑒別、訪問(wèn)控制、信息流控制、推理控制、審計(jì)和加密等，其中目前應(yīng)用最廣也最為有效的是訪問(wèn)控制技術(shù)。訪問(wèn)控制就是當(dāng)主體請(qǐng)求對(duì)客體訪問(wèn)時(shí)，系統(tǒng)根據(jù)主體（進(jìn)程）的用戶和組的標(biāo)識(shí)符、安全級(jí)和權(quán)限，客體的安全級(jí)、訪問(wèn)權(quán)限以及存取訪問(wèn)的檢查規(guī)則，決定是否允許主體對(duì)客體請(qǐng)求的存取訪問(wèn)方式（讀、寫(xiě)、修改、刪除、加入記錄等）的訪問(wèn)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第28頁(yè)。Web層安全Web層安全致力于解決諸如如何有效進(jìn)行介入控制，以及如何保證數(shù)據(jù)傳輸?shù)陌踩缘募夹g(shù)手段，防護(hù)方法包括四個(gè)方面：防火墻、VPN、反病毒軟件，以及入侵檢測(cè)系統(tǒng)(IDS)。防火墻（作為阻塞點(diǎn)、控制點(diǎn)）能極大地提高一個(gè)內(nèi)部網(wǎng)絡(luò)的安全性，并通過(guò)過(guò)濾不安全的服務(wù)而降低風(fēng)險(xiǎn)。通過(guò)以防火墻為中心的安全方案配置，能將所有安全軟件（如口令、加密、身份認(rèn)證、審計(jì)等）配置在防火墻上。與將網(wǎng)絡(luò)安全問(wèn)題分散到各個(gè)主機(jī)上相比，防火墻的集中安全管理更經(jīng)濟(jì)。例如在網(wǎng)絡(luò)訪問(wèn)時(shí)，一次一密口令系統(tǒng)和其它的身份認(rèn)證系統(tǒng)完全可以不必分散在各個(gè)主機(jī)上，而集中在防火墻一身上。VPN是利用開(kāi)放的公共網(wǎng)絡(luò)建立一個(gè)安全的專用數(shù)據(jù)傳輸通道,采用加密和認(rèn)證技術(shù),利用公共通信網(wǎng)絡(luò)設(shè)施的一部分來(lái)發(fā)送專用信息,為相互通信的節(jié)點(diǎn)建立一個(gè)相對(duì)封閉的、邏輯的專用網(wǎng)絡(luò)。目前VPN主要采用4項(xiàng)技術(shù),分別是隧道技術(shù)、加解密技術(shù)、密鑰管理技術(shù)、使用者與設(shè)備身份鑒別技術(shù)。入侵檢測(cè)系統(tǒng)通過(guò)網(wǎng)絡(luò)上的所有報(bào)文，分析處理后，報(bào)告異常和重要的數(shù)據(jù)模式和行為模式。應(yīng)用層安全應(yīng)用層是開(kāi)放系統(tǒng)的最高層,是直接為應(yīng)用進(jìn)程提供服務(wù)的。其作用是在實(shí)現(xiàn)多個(gè)系統(tǒng)應(yīng)用進(jìn)程相互通信的同時(shí),完成一系列業(yè)務(wù)處理所需的服務(wù)。保障應(yīng)用層的安全包括使用FTP、SMTP、HTTP、DNS等協(xié)議。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第29頁(yè)。平臺(tái)開(kāi)發(fā)及應(yīng)用安全防護(hù)設(shè)計(jì)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第29頁(yè)。采用分層的體系架構(gòu)，使得Web層、應(yīng)用層、數(shù)據(jù)層有效地分離，用戶不會(huì)直接訪問(wèn)到核心數(shù)據(jù)庫(kù)系統(tǒng)。全文檢索、分析和發(fā)布系統(tǒng)基于EJB/J2EE技術(shù)平臺(tái)進(jìn)行開(kāi)發(fā)，通過(guò)跨平臺(tái)的應(yīng)用服務(wù)保證系統(tǒng)能夠進(jìn)行穩(wěn)定地部署，提高系統(tǒng)安全性。為了保證數(shù)據(jù)實(shí)時(shí)更新，以及符合動(dòng)態(tài)權(quán)限管理要求，系統(tǒng)采用動(dòng)態(tài)發(fā)布的方式，在系統(tǒng)后臺(tái)提供應(yīng)用程序。輔助提供密碼加密措施，即用戶信息、密碼等私密數(shù)據(jù)需要以密文方式存儲(chǔ)，即使黑客訪問(wèn)到后臺(tái)數(shù)據(jù)庫(kù)，也無(wú)法獲得私人信息。提供用戶身份標(biāo)識(shí)唯一和鑒別信息復(fù)雜度檢查功能，保證應(yīng)用系統(tǒng)中不存在重復(fù)用戶身份標(biāo)識(shí)，身份鑒別信息不易被冒用。提供登錄失敗處理功能，可采取結(jié)束會(huì)話、限制非法登錄次數(shù)和自動(dòng)退出等措施。啟用身份鑒別，用戶身份標(biāo)識(shí)唯一性檢查、用戶身份鑒別信復(fù)雜度檢查以及登錄失敗處理功能，并根據(jù)安全策略配置相關(guān)參數(shù)。建立完整的系統(tǒng)管理、欄目授權(quán)認(rèn)證體系、數(shù)據(jù)審核機(jī)制。采用權(quán)限管理機(jī)制，使得只有有權(quán)限的用戶才能對(duì)相關(guān)信息進(jìn)行操作。并且，將操作的權(quán)限進(jìn)行細(xì)分，可以對(duì)瀏覽、編輯、管理單獨(dú)授權(quán)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第30頁(yè)。同時(shí)，在數(shù)據(jù)量增大的情況下，為了保證平臺(tái)能夠提供優(yōu)異的訪問(wèn)性能，在系統(tǒng)設(shè)計(jì)中采用了自動(dòng)分庫(kù)的手段，不同類型的分析數(shù)據(jù)分庫(kù)進(jìn)行存放，這樣的設(shè)計(jì)模式一方面保證了分析工具不至于承擔(dān)很大的分析負(fù)荷，另一方面數(shù)據(jù)分庫(kù)存儲(chǔ)，也減少了數(shù)據(jù)庫(kù)被破壞的風(fēng)險(xiǎn)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第30頁(yè)。備份和恢復(fù)根據(jù)數(shù)據(jù)要求及運(yùn)行情況，提供本地?cái)?shù)據(jù)備份與恢復(fù)功能，完全數(shù)據(jù)備份至少每天一次，備份介質(zhì)場(chǎng)外存放。本項(xiàng)目在不降低業(yè)務(wù)系統(tǒng)性能的條件下保證數(shù)據(jù)完整性、業(yè)務(wù)連續(xù)性、運(yùn)行不間斷性和快速恢復(fù)性。備份方式：邏輯備份簡(jiǎn)述：邏輯備份包括讀一個(gè)數(shù)據(jù)庫(kù)記錄集和將記錄集寫(xiě)入一個(gè)文件中。這些記錄的讀出與其物理位置無(wú)關(guān)。備份模式：完全備份模式邏輯備份分為三種模式：表備份、用戶備份和完全備份。完全備份模式3種導(dǎo)出方式1.完全增量導(dǎo)出(CompleteExport)把整個(gè)數(shù)據(jù)庫(kù)文件導(dǎo)出備份。2.增量型增量導(dǎo)出(IncrementalExport)只備份上一次備份后改變的結(jié)果。3.累積型增量導(dǎo)出(CumulateExport)導(dǎo)出自上次完全增量導(dǎo)出后數(shù)據(jù)庫(kù)變化的信息。（三）備份方案采用下面的方式進(jìn)行每天的增量備份。周一：完全備份（A）；周二：增量導(dǎo)出（B）；周三：增量導(dǎo)出（C）；周四：增量導(dǎo)出（D）；周五：累計(jì)導(dǎo)出（E）；周六：增量導(dǎo)出（F）；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第31頁(yè)。周日：增量導(dǎo)出（G）；物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第31頁(yè)。這樣可以保證每周數(shù)據(jù)的完整性，以及恢復(fù)時(shí)的快捷和最大限度的數(shù)據(jù)損失。系統(tǒng)穩(wěn)定性和高可用性設(shè)計(jì)系統(tǒng)的穩(wěn)定性、高可用性即數(shù)據(jù)報(bào)送子系統(tǒng)、數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)預(yù)處理子系統(tǒng)、海量數(shù)據(jù)存儲(chǔ)檢索子系統(tǒng)、數(shù)據(jù)智能挖掘分析子系統(tǒng)等，各系統(tǒng)滿足7×24小時(shí)不間斷工作，不存在單點(diǎn)故障。數(shù)據(jù)預(yù)處理系統(tǒng)穩(wěn)定性和高可用性設(shè)計(jì)數(shù)據(jù)預(yù)處理服務(wù)器支持雙機(jī)備份，當(dāng)主機(jī)發(fā)生宕機(jī)時(shí)，備機(jī)自動(dòng)接管該服務(wù)器管理的數(shù)據(jù)處理任務(wù)，以及遠(yuǎn)程執(zhí)行引擎列表。由此保證了數(shù)據(jù)接入、轉(zhuǎn)換、入庫(kù)等操作的穩(wěn)定性和高可用性。接入數(shù)據(jù)后對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)使用文本挖掘系統(tǒng)，同時(shí)對(duì)服務(wù)器進(jìn)行任務(wù)的調(diào)度，當(dāng)某一個(gè)服務(wù)器發(fā)生故障時(shí)，調(diào)度器會(huì)啟動(dòng)另外一個(gè)服務(wù)器進(jìn)行數(shù)據(jù)的預(yù)處理操作，實(shí)現(xiàn)了熱備，保證數(shù)據(jù)預(yù)處理環(huán)節(jié)的穩(wěn)定性和高可用性。海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)穩(wěn)定性和高可用性設(shè)計(jì)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第32頁(yè)。海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)采用多副本機(jī)制，一個(gè)索引可由多個(gè)子集組成，分布在不同的節(jié)點(diǎn)上，實(shí)現(xiàn)分布式檢索；索引的各個(gè)子集可在不同的節(jié)點(diǎn)上存儲(chǔ)多個(gè)副本，索引子集多副本實(shí)現(xiàn)了容災(zāi)備份，避免單點(diǎn)故障，同時(shí)也實(shí)現(xiàn)了負(fù)載均衡，提高并發(fā)檢索能力。由此保證海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)的穩(wěn)定性和高可用性。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第32頁(yè)。數(shù)據(jù)智能挖掘分析系統(tǒng)穩(wěn)定性和高可用性設(shè)計(jì)數(shù)據(jù)智能挖掘分析系統(tǒng)采用CKMSTA架構(gòu)對(duì)CKM服務(wù)器進(jìn)行任務(wù)的調(diào)度，當(dāng)某一個(gè)CKM服務(wù)器發(fā)生故障時(shí)，STA調(diào)度器會(huì)啟動(dòng)另外一個(gè)CKM服務(wù)器進(jìn)行數(shù)據(jù)的挖掘分析，實(shí)現(xiàn)了熱備，保證數(shù)據(jù)智能挖掘分析環(huán)節(jié)的穩(wěn)定性和高可用性。系統(tǒng)擴(kuò)展性設(shè)計(jì)系統(tǒng)需要滿足至少6-8年使用需求，擴(kuò)展性要求是系統(tǒng)設(shè)計(jì)需要首要考慮的問(wèn)題，我們按照以下原則進(jìn)行系統(tǒng)設(shè)計(jì)，以達(dá)到系統(tǒng)可靈活擴(kuò)展?jié)M足隨著時(shí)間推移和技術(shù)進(jìn)步等出現(xiàn)的新需求。1. 高效管理服務(wù)器的數(shù)量、性能系統(tǒng)提供自動(dòng)管理機(jī)制滿足高效管理服務(wù)器數(shù)量靈活增加及性能控制。2. 快速提高存儲(chǔ)容量，加快響應(yīng)速度系統(tǒng)存儲(chǔ)容量可根據(jù)實(shí)際情況便捷、靈活擴(kuò)展，以滿足要求和提高響應(yīng)速度。3. 保證功能模塊的獨(dú)立性，可根據(jù)用戶需求自由增刪模塊各模塊間采取松耦合方式運(yùn)作，更有利于系統(tǒng)維護(hù)管理，相互間互不影響，并且可提高靈活配置和自由增刪模塊的便捷性。4. 與現(xiàn)行系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接，實(shí)現(xiàn)數(shù)據(jù)的共享與交換系統(tǒng)提供二次開(kāi)發(fā)接口，可靈活定制與其他系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接和數(shù)據(jù)共享和交換。能夠?qū)⑵渌到y(tǒng)數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)。低耦合設(shè)計(jì)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第33頁(yè)。平臺(tái)總體軟件體系結(jié)構(gòu)遵循J2EE標(biāo)準(zhǔn)，運(yùn)行在J2EE應(yīng)用服務(wù)器平臺(tái)上；采用面向服務(wù)體系結(jié)構(gòu)設(shè)計(jì)；系統(tǒng)采用三層架構(gòu)的體系結(jié)構(gòu)，具有靈活的擴(kuò)展性和良好的移植性。業(yè)務(wù)開(kāi)發(fā)和建設(shè)遵循XML、WebService標(biāo)準(zhǔn)規(guī)范。大數(shù)據(jù)處理技術(shù)平臺(tái)各個(gè)系統(tǒng)都提供接口，以便于二次開(kāi)發(fā)。各模塊間采取松耦合方式運(yùn)作，更有利于系統(tǒng)維護(hù)管理，相互間互不影響，并且可提高靈活配置和自由增刪模塊的便捷性。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第33頁(yè)。系統(tǒng)的實(shí)用性該系統(tǒng)能達(dá)到好用、易用和實(shí)用的標(biāo)準(zhǔn)。實(shí)用性包括當(dāng)前實(shí)用性和未來(lái)實(shí)用性。因此需要最大限度地滿足當(dāng)前的業(yè)務(wù)需求，同時(shí)又要兼顧未來(lái)發(fā)展的需求。因此，應(yīng)采取總體設(shè)計(jì)、分步實(shí)施的技術(shù)路線，在總體設(shè)計(jì)的指導(dǎo)下，首先實(shí)現(xiàn)帶有普遍意義和具有核心價(jià)值的（用戶急需的）系統(tǒng)功能，并優(yōu)先實(shí)施系統(tǒng)可靠性設(shè)計(jì)。最終能與用戶的實(shí)際需求緊密聯(lián)系，同時(shí)也保障了系統(tǒng)擴(kuò)充和升級(jí)的連貫性和平滑性。技術(shù)路線和關(guān)鍵技術(shù)平臺(tái)總體軟件體系結(jié)構(gòu)遵循J2EE標(biāo)準(zhǔn)，運(yùn)行在J2EE應(yīng)用服務(wù)器平臺(tái)上；采用面向服務(wù)體系結(jié)構(gòu)設(shè)計(jì)；系統(tǒng)采用三層架構(gòu)的體系結(jié)構(gòu)，具有靈活的擴(kuò)展性和良好的移植性。業(yè)務(wù)開(kāi)發(fā)和建設(shè)遵循XML、WebService標(biāo)準(zhǔn)規(guī)范。面向服務(wù)（SOA）的架構(gòu)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第34頁(yè)。本項(xiàng)目總體應(yīng)用框架采用SAO架構(gòu)，SOA是一種面向企業(yè)級(jí)服務(wù)的系統(tǒng)架構(gòu)，簡(jiǎn)單來(lái)說(shuō)，SOA就是一種進(jìn)行系統(tǒng)開(kāi)發(fā)的新的體系架構(gòu)，在基于SOA架構(gòu)的系統(tǒng)中，具體應(yīng)用程序的功能是由一些松耦合并且具有統(tǒng)一接口定義方式的組件(也就是service)組合構(gòu)建起來(lái)的。因此，基于SOA的架構(gòu)也一定是從企業(yè)的具體需求開(kāi)始構(gòu)建的。但是，SOA和其它企業(yè)架構(gòu)的不同之處就在于SOA提供的業(yè)務(wù)靈活性。業(yè)務(wù)靈活性是指企業(yè)能對(duì)業(yè)務(wù)變更快速和有效地進(jìn)行響應(yīng)、并且利用業(yè)務(wù)變更來(lái)得到競(jìng)爭(zhēng)優(yōu)勢(shì)的能力。對(duì)企業(yè)級(jí)架構(gòu)設(shè)計(jì)師來(lái)說(shuō)，創(chuàng)建一個(gè)業(yè)務(wù)靈活的架構(gòu)意味著創(chuàng)建一個(gè)可以滿足當(dāng)前還未知的業(yè)務(wù)需求的IT架構(gòu)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第34頁(yè)。利用基于SOA的系統(tǒng)構(gòu)建方法，一個(gè)基于SOA架構(gòu)的系統(tǒng)中的所有的程序功能都被封裝在一些功能模塊中，我們就是利用這些已經(jīng)封裝好的功能模塊組裝構(gòu)建我們所需要的程序或者系統(tǒng)，而這些功能模塊就是SOA架構(gòu)中的不同的服務(wù)(services)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第35頁(yè)。從面向服務(wù)的架構(gòu)（SOA）示意圖來(lái)看，SOA是一個(gè)典型的MVC模式的架構(gòu)。但是，與傳統(tǒng)方法相比，SOA更加強(qiáng)調(diào)以下優(yōu)勢(shì)：基于標(biāo)準(zhǔn)、松散耦合、共享服務(wù)、粗粒度和聯(lián)合控制。通過(guò)不斷地構(gòu)筑業(yè)務(wù)需要的各種標(biāo)準(zhǔn)服務(wù)，實(shí)實(shí)在在地形成一個(gè)“服務(wù)倉(cāng)庫(kù)“，按需服務(wù)，最終實(shí)現(xiàn)業(yè)務(wù)自主。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第35頁(yè)。遵循XML數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容整合系統(tǒng)要求數(shù)據(jù)采用統(tǒng)一規(guī)范的標(biāo)準(zhǔn)，目前通常采用XML規(guī)范標(biāo)準(zhǔn)?？蓴U(kuò)展標(biāo)記語(yǔ)言（XML）是Web上的數(shù)據(jù)通用語(yǔ)言。XML是一種開(kāi)放的標(biāo)準(zhǔn)，XML語(yǔ)言不受任何實(shí)體的控制也不歸任何實(shí)體所有。XML可以擴(kuò)展，XML標(biāo)簽可以被任何人創(chuàng)建并被其他人所采用。它使開(kāi)發(fā)人員能夠?qū)⒔Y(jié)構(gòu)化數(shù)據(jù)，從許多不同的應(yīng)用程序傳遞到桌面，進(jìn)行本地計(jì)算和演示。XML允許為特定應(yīng)用程序創(chuàng)建唯一的數(shù)據(jù)格式。它還是在服務(wù)器之間傳輸結(jié)構(gòu)化數(shù)據(jù)的理想格式。在系統(tǒng)應(yīng)用中使用XML技術(shù)有以下的優(yōu)勢(shì)：提供用于本地計(jì)算的數(shù)據(jù)傳遞到桌面的數(shù)據(jù)可以進(jìn)行本地計(jì)算。XML分析器可以讀取數(shù)據(jù)，并將它遞交給本地應(yīng)用程序（例如瀏覽器）進(jìn)一步查看或處理。數(shù)據(jù)也可以由使用XML對(duì)象模型的腳本或其他編程語(yǔ)言來(lái)處理。向用戶提供正確的結(jié)構(gòu)化數(shù)據(jù)視圖傳遞到桌面的數(shù)據(jù)可以以多種方式表示。本地?cái)?shù)據(jù)集，可以根據(jù)用戶喜好和配置等因素，以適當(dāng)?shù)男问?，在視圖中動(dòng)態(tài)表現(xiàn)給用戶。允許集成不同來(lái)源的結(jié)構(gòu)化數(shù)據(jù)一般情況下，使用代理，在中間層服務(wù)器上集成來(lái)自后端數(shù)據(jù)庫(kù)和其他應(yīng)用程序的數(shù)據(jù)，使該數(shù)據(jù)能夠傳遞給桌面或者其他服務(wù)器，做進(jìn)一步聚合、處理和分布。描述來(lái)自多種應(yīng)用程序的數(shù)據(jù)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第36頁(yè)。由于XML是可擴(kuò)展的，因此它可以用于描述來(lái)自多種應(yīng)用程序的數(shù)據(jù)，從描述Web頁(yè)面集合到數(shù)據(jù)記錄。由于數(shù)據(jù)是自描述的，因此不需要數(shù)據(jù)的內(nèi)置描述，也能夠接收和處理數(shù)據(jù)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第36頁(yè)。通過(guò)粒度更新來(lái)提高性能XML允許粒度更新。開(kāi)發(fā)人員不必在每次有改動(dòng)時(shí)都發(fā)送整個(gè)結(jié)構(gòu)化數(shù)據(jù)集。有了粒度更新后，只有改變的元素才必須從服務(wù)器發(fā)送到客戶機(jī)。改變的數(shù)據(jù)可以在不必刷新整個(gè)頁(yè)面或表的情況下顯示?；赪ebService技術(shù)WebService技術(shù)可以讓地理上分布在不同區(qū)域的計(jì)算機(jī)和設(shè)備一起工作，以便為用戶提供各種各樣的服務(wù)。用戶可以控制要獲取信息的內(nèi)容、時(shí)間、方式，而不必像現(xiàn)在這樣在無(wú)數(shù)個(gè)信息孤島中瀏覽，去尋找自己所需要的信息。從發(fā)展趨勢(shì)上看毫無(wú)疑問(wèn)，WebService將成為下一代Web的主流技術(shù)。選擇WebService技術(shù)還基于如下的技術(shù)優(yōu)點(diǎn)：WebService是創(chuàng)建可互操作的分布式應(yīng)用程序的新平臺(tái)。WebService的主要目標(biāo)是跨平臺(tái)的可互操作性。為了達(dá)到這一目標(biāo)，WebService是完全基于XML、XSD等獨(dú)立于平臺(tái)、獨(dú)立于軟件供應(yīng)商的標(biāo)準(zhǔn)的。WebService在應(yīng)用程序跨平臺(tái)和跨網(wǎng)絡(luò)進(jìn)行通信的時(shí)候是非常有用的。WebService非常適用于應(yīng)用程序集成、B2B和G2G集成、代碼和數(shù)據(jù)重用，以及通過(guò)Web進(jìn)行客戶端和服務(wù)器的通信的場(chǎng)合即WebService技術(shù)對(duì)新一代因特網(wǎng)協(xié)議標(biāo)準(zhǔn)的支持是其他技術(shù)不能望其項(xiàng)背的，這也是WebService技術(shù)倍受推崇，并取得成功的原因所在。組件技術(shù)和模塊化構(gòu)造物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第37頁(yè)。組件是獨(dú)立于特定的程序設(shè)計(jì)語(yǔ)言和應(yīng)用系統(tǒng)、可重用和自包含的軟件成分，這些軟件成分可以很容易的被組合到更大的程序當(dāng)中而不用考慮其本身的實(shí)現(xiàn)細(xì)節(jié)。在一個(gè)系統(tǒng)中，組件是一個(gè)可替換單元，因此，軟件系統(tǒng)更易于開(kāi)發(fā)且具有更大的靈活性。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第37頁(yè)。組件技術(shù)是在面向?qū)ο蟮拈_(kāi)發(fā)技術(shù)基礎(chǔ)上發(fā)展起來(lái)的，可以說(shuō)是面向?qū)ο蠹夹g(shù)在系統(tǒng)設(shè)計(jì)級(jí)別上的延伸。與面向?qū)ο蠹夹g(shù)相比，組件技術(shù)繼承了面向?qū)ο蟮姆庋b性，而忽略了繼承性和多態(tài)性。組件是對(duì)象有機(jī)結(jié)合，不需要關(guān)心組件中的對(duì)象和實(shí)現(xiàn)細(xì)節(jié)。組件有其固定的特征，即軟件重用和互操作性、可擴(kuò)展性、組件接口的穩(wěn)定性和組件基礎(chǔ)設(shè)施穩(wěn)固性而且無(wú)論是靜態(tài)還是動(dòng)態(tài)的引用都可以穩(wěn)定的提供組件的功能和接口。同時(shí)系統(tǒng)采用模塊化構(gòu)造，具有良好的開(kāi)放性、可擴(kuò)展性，可以根據(jù)業(yè)務(wù)拓展需求不斷進(jìn)行調(diào)整、組合、開(kāi)拓新功能。反爬蟲(chóng)機(jī)制網(wǎng)絡(luò)爬蟲(chóng)，從功能上講一般分為數(shù)據(jù)采集，處理，儲(chǔ)存三個(gè)部分，是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。但是當(dāng)網(wǎng)絡(luò)爬蟲(chóng)被濫用后，互聯(lián)網(wǎng)上就出現(xiàn)太多同質(zhì)的東西，原創(chuàng)得不到保護(hù)。由于本系統(tǒng)及網(wǎng)站涉及大量行業(yè)、統(tǒng)計(jì)信息，為最大程度保護(hù)數(shù)據(jù)，需建立反爬蟲(chóng)機(jī)制，可根據(jù)ip訪問(wèn)頻率，瀏覽網(wǎng)頁(yè)速度，flash封裝，ajax混淆，js加密等技術(shù)來(lái)反對(duì)網(wǎng)絡(luò)爬蟲(chóng)。網(wǎng)絡(luò)反爬蟲(chóng)手段可分為兩種：一是從客戶端的角度進(jìn)行反爬，二是從服務(wù)端進(jìn)行反爬。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第38頁(yè)。從客戶端的角度進(jìn)行反爬蟲(chóng)，常見(jiàn)的如微博、QQ空間等復(fù)雜登陸流程和ajax動(dòng)態(tài)加載，會(huì)讓爬蟲(chóng)工程師的工作量增加，同時(shí)配合動(dòng)態(tài)生成url,主要是動(dòng)態(tài)生成構(gòu)成該url的key阻止爬蟲(chóng)爬取。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第38頁(yè)。從服務(wù)器的角度進(jìn)行反爬蟲(chóng)可分為兩類。一類是實(shí)時(shí)反爬蟲(chóng)方式，另外一種是非實(shí)時(shí)反爬蟲(chóng)方式。實(shí)時(shí)的反爬蟲(chóng)方式可以直接通過(guò)requestheaders頭信息阻擋一些簡(jiǎn)單小爬蟲(chóng)，配合通用的采用滑動(dòng)時(shí)間窗口驗(yàn)證，增加爬取成本。非實(shí)時(shí)的反爬蟲(chóng)方式即在Nginx等WebServer中獲取所有IP的訪問(wèn)記錄，或根據(jù)頁(yè)面嵌入的JS統(tǒng)計(jì)流量的數(shù)據(jù)，基于這兩點(diǎn)拿流量統(tǒng)計(jì)記錄的IP和服務(wù)器日志記錄的IP進(jìn)行比較，如果服務(wù)器日志里面某個(gè)IP發(fā)起了大量請(qǐng)求，但是流量統(tǒng)計(jì)里沒(méi)有，或者訪問(wèn)量只有很少幾個(gè)，那么來(lái)源于該IP的請(qǐng)求則是爬蟲(chóng)。爬蟲(chóng)與反爬蟲(chóng)是一個(gè)博弈的過(guò)程。爬蟲(chóng)不能絕對(duì)的禁掉，只能盡可能的增加爬取成本，避免爬蟲(chóng)對(duì)于正常業(yè)務(wù)的影響。反爬蟲(chóng)的效果取決于使用的策略的復(fù)雜度，但是策略越復(fù)雜可能對(duì)于接口或者頁(yè)面的性能影響越大，因此需掌握好平衡度后實(shí)施。反反爬蟲(chóng)采集行業(yè)信息、統(tǒng)計(jì)信息等采集是系統(tǒng)服務(wù)的基礎(chǔ)，為更好的解放勞動(dòng)力，實(shí)現(xiàn)信息的自動(dòng)化采集是重要的手段，然而在采集過(guò)程中，目標(biāo)網(wǎng)站大都設(shè)置反爬蟲(chóng)策略，爬取難度增大，故需對(duì)此設(shè)置反反爬蟲(chóng)策略以更好的爬取相關(guān)內(nèi)容。常見(jiàn)的反爬蟲(chóng)策略及應(yīng)對(duì)方法如下：通過(guò)Headers反爬蟲(chóng)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第39頁(yè)。從用戶請(qǐng)求的Headers反爬蟲(chóng)是最常見(jiàn)的反爬蟲(chóng)策略。很多網(wǎng)站都會(huì)對(duì)Headers的User-Agent進(jìn)行檢測(cè)，還有一部分網(wǎng)站會(huì)對(duì)Referer進(jìn)行檢測(cè)（一些資源網(wǎng)站的防盜鏈就是檢測(cè)Referer）。遇到此反爬蟲(chóng)機(jī)制時(shí)可以直接在爬蟲(chóng)中添加Headers，將瀏覽器的User-Agent復(fù)制到爬蟲(chóng)的Headers中；或者將Referer值修改為目標(biāo)網(wǎng)站域名。對(duì)于檢測(cè)Headers的反爬蟲(chóng)，在爬蟲(chóng)中修改或者添加Headers即可繞過(guò)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第39頁(yè)?；谟脩粜袨榉磁老x(chóng)部分網(wǎng)站是通過(guò)檢測(cè)用戶行為，例如同一IP短時(shí)間內(nèi)多次訪問(wèn)同一頁(yè)面，或者同一賬戶短時(shí)間內(nèi)多次進(jìn)行相同操作。對(duì)于第一種情況，使用IP代理即可解決。首先需寫(xiě)一個(gè)爬蟲(chóng)程序，爬取網(wǎng)上公開(kāi)的代理ip，檢測(cè)后保存起來(lái)，然后可以每請(qǐng)求幾次更換一個(gè)ip，這樣就能繞過(guò)第一種反爬蟲(chóng)。對(duì)于第二種情況，可以在每次請(qǐng)求后隨機(jī)間隔幾秒再進(jìn)行下一次請(qǐng)求。有些有邏輯漏洞的網(wǎng)站，可以通過(guò)請(qǐng)求幾次，退出登錄，重新登錄，繼續(xù)請(qǐng)求來(lái)繞過(guò)同一賬號(hào)短時(shí)間內(nèi)不能多次進(jìn)行相同請(qǐng)求的限制。動(dòng)態(tài)頁(yè)面的反爬蟲(chóng)部分網(wǎng)站需要爬取的數(shù)據(jù)是通過(guò)ajax請(qǐng)求得到，或者通過(guò)JavaScript生成的。針對(duì)這種反爬蟲(chóng)，首先用Firebug或者HttpFox對(duì)網(wǎng)絡(luò)請(qǐng)求進(jìn)行分析，找到ajax請(qǐng)求，分析出具體的參數(shù)和響應(yīng)的具體含義，然后采用上面的方法，利用requests或者urllib2模擬ajax請(qǐng)求，對(duì)響應(yīng)的json進(jìn)行分析得到需要的數(shù)據(jù)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第40頁(yè)。部分網(wǎng)站會(huì)將ajax請(qǐng)求的所有參數(shù)全部加密以應(yīng)對(duì)爬蟲(chóng)，造成無(wú)法構(gòu)造所需要的數(shù)據(jù)的請(qǐng)求，遇到此種網(wǎng)站，可采用selenium+phantomJS框架，調(diào)用瀏覽器內(nèi)核，并利用phantomJS執(zhí)行js來(lái)模擬人為操作以及觸發(fā)頁(yè)面中的js腳本。從填寫(xiě)表單到點(diǎn)擊按鈕再到滾動(dòng)頁(yè)面，全部都可以模擬，不考慮具體的請(qǐng)求和響應(yīng)過(guò)程，只是完完整整的把人瀏覽頁(yè)面獲取數(shù)據(jù)的過(guò)程模擬一遍。因?yàn)閜hantomJS就是一個(gè)沒(méi)有界面的瀏覽器，只是操控這個(gè)瀏覽器的不是人。利用selenium+phantomJS即可完成識(shí)別點(diǎn)觸式（12306）或者滑動(dòng)式的驗(yàn)證碼，對(duì)頁(yè)面表單進(jìn)行暴力破解等，已完成數(shù)據(jù)的采集。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第40頁(yè)。業(yè)務(wù)流程控制建立靈活的業(yè)務(wù)流程控制，使信息中心可以隨著商業(yè)環(huán)境的變化而方便迅速的改變自身的業(yè)務(wù)流程。系統(tǒng)在配置階段，定義的流程在基于流程的信息系統(tǒng)中實(shí)施；在流程運(yùn)行實(shí)施階段，業(yè)務(wù)流程開(kāi)始利用在配置階段的內(nèi)容開(kāi)始實(shí)施；在診斷階段，系統(tǒng)開(kāi)始分析業(yè)務(wù)流程以發(fā)現(xiàn)其中的問(wèn)題和需要改進(jìn)的地方，在流程設(shè)計(jì)階段重新定義，往返循環(huán)不斷的優(yōu)化業(yè)務(wù)流程。業(yè)務(wù)流程的定義充分利用硬件環(huán)境的優(yōu)勢(shì)，將任務(wù)合理分配到User端和Server端來(lái)實(shí)現(xiàn)，在流程定義階段，用戶只需定義組織結(jié)構(gòu)，流程和表單就能夠完成流程的設(shè)計(jì)，流程頁(yè)面主要有兩種：1.表單頁(yè)表單頁(yè)的流程是根據(jù)信息中心的實(shí)際情況制定，流程表單也是根據(jù)實(shí)際情況進(jìn)行后臺(tái)表的設(shè)計(jì)和前臺(tái)界面的繪制，這也是工作流的基本使用。2.接口頁(yè)接口頁(yè)是對(duì)于已有的頁(yè)面提供接口，使頁(yè)面在工作流系統(tǒng)中流轉(zhuǎn)，使用接口頁(yè)真正實(shí)現(xiàn)了業(yè)務(wù)的隨需應(yīng)變，可以隨意的對(duì)于信息管理系統(tǒng)進(jìn)行流程的按需設(shè)計(jì)按需管理。工作流配置流程模板管理工作流配置流程模板管理流程節(jié)點(diǎn)模板管理節(jié)點(diǎn)候選人管理節(jié)點(diǎn)場(chǎng)景配置異常流程處理發(fā)起流程根據(jù)模板初始化初始化表單數(shù)據(jù)初始化場(chǎng)景臨時(shí)保存流程保存代辦任務(wù)流程轉(zhuǎn)初始化場(chǎng)景節(jié)點(diǎn)候選人管理修改并保存流程物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第41頁(yè)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第41頁(yè)。采用業(yè)務(wù)流程控制達(dá)到以下目標(biāo)：實(shí)現(xiàn)可視化流程自定義功能，可以無(wú)限量的去添加流程，流程以列表的形式顯示，在流程列表中，可以修改、刪除所選定流程。實(shí)現(xiàn)工作流分類的增加、刪除和修改。針對(duì)審批表單的項(xiàng)目進(jìn)行統(tǒng)計(jì)，包含按照時(shí)間段、業(yè)務(wù)類型、表單狀態(tài)等。系統(tǒng)支持純WEB的管理監(jiān)控工具，對(duì)于當(dāng)前流程的審批狀態(tài)進(jìn)行監(jiān)控。通過(guò)對(duì)流程的監(jiān)控可以讓用戶了解當(dāng)前流程的進(jìn)度?？梢宰远x的流程設(shè)定，使系統(tǒng)在易用性上有所增強(qiáng)，工作流引擎的引入加大了系統(tǒng)的實(shí)用性，用戶不需要再為變動(dòng)的申請(qǐng)流程特意改變系統(tǒng)架構(gòu)。大數(shù)據(jù)處理分析技術(shù)云存儲(chǔ)系統(tǒng)設(shè)計(jì)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第42頁(yè)。云存儲(chǔ)系統(tǒng)（分布式存儲(chǔ)系統(tǒng)）采用通用X86架構(gòu)或ARM架構(gòu)存儲(chǔ)服務(wù)器作為硬件載體，而非自身定制化硬件實(shí)體，通過(guò)在其上部署自身的分布式軟件以實(shí)現(xiàn)分布式云存儲(chǔ)的功能。所有硬件設(shè)備，如存儲(chǔ)服務(wù)器、交換機(jī)、磁盤以及相應(yīng)的附件，均可在市場(chǎng)上采購(gòu)，且不限于特定廠家或必須使用某種特定專有設(shè)備。分布式存儲(chǔ)軟件支持通過(guò)X86架構(gòu)或者ARM架構(gòu)的硬件，但又獨(dú)立于特定的硬件，而不是和特定硬件平臺(tái)或者設(shè)備綁定。云存儲(chǔ)系統(tǒng)具有高度可靠、性能優(yōu)異、無(wú)限容量、在線伸縮等特點(diǎn)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第42頁(yè)。分布式存儲(chǔ)服務(wù)在性能和容量上需具備具有高擴(kuò)展性和線性增長(zhǎng)能力。支持多種擴(kuò)容方式，可通過(guò)增加磁盤、服務(wù)節(jié)點(diǎn)以及磁盤柜等多種靈活的方式，實(shí)時(shí)對(duì)云存儲(chǔ)容量進(jìn)行擴(kuò)充，并且在動(dòng)態(tài)擴(kuò)容期間服務(wù)不中斷。分布式數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)數(shù)據(jù)庫(kù)服務(wù)包括傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)服務(wù)和分布式數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)系統(tǒng)使用計(jì)算機(jī)網(wǎng)絡(luò)將物理位置分散而管理和控制又需要不同程度集中的多個(gè)邏輯單位(通常是集中式數(shù)據(jù)庫(kù)系統(tǒng))連接起來(lái)，共同組成一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)系統(tǒng)，因此，分布式數(shù)據(jù)庫(kù)系統(tǒng)可以看成是計(jì)算機(jī)網(wǎng)絡(luò)與數(shù)據(jù)庫(kù)系統(tǒng)的有機(jī)結(jié)合。結(jié)合大數(shù)據(jù)系統(tǒng)的特點(diǎn)，分布式數(shù)據(jù)庫(kù)服務(wù)主要可分為2種：第一種主要面向的是采用結(jié)構(gòu)化數(shù)據(jù)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)。第二種主要面向的是采用非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的非關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)。分布式計(jì)算架構(gòu)設(shè)計(jì)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第43頁(yè)。分布式計(jì)算框架為用戶提供容易使用的并行編程模式、處理海量數(shù)據(jù)的處理框架，用于對(duì)大規(guī)模數(shù)據(jù)集的并行處理。處理能力可以通過(guò)增加或減少機(jī)器達(dá)到動(dòng)態(tài)調(diào)整。分布式計(jì)算框架采用先進(jìn)的容錯(cuò)技術(shù)，確保處理任務(wù)的可靠性，即使在異常情況下，如機(jī)器宕機(jī)、斷網(wǎng)的情況下，確保處理任務(wù)的實(shí)時(shí)性和準(zhǔn)確性。分布式處理框架是建立在分布式存儲(chǔ)和分布式數(shù)據(jù)庫(kù)的基礎(chǔ)之上。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第43頁(yè)。安全保障體系設(shè)計(jì)大數(shù)據(jù)基礎(chǔ)平臺(tái)從數(shù)據(jù)、應(yīng)用和虛擬化三個(gè)層面對(duì)傳輸安全、存儲(chǔ)安全、恢復(fù)安全和審計(jì)安全進(jìn)行控制，通過(guò)對(duì)流量的清洗和監(jiān)控以及基于計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的虛擬化技術(shù)，實(shí)現(xiàn)多用戶之間的資源隔離，明晰安全邊界，降低系統(tǒng)的安全風(fēng)險(xiǎn)，確保用戶的隱私保護(hù)。與此同時(shí)，制定標(biāo)準(zhǔn)規(guī)范體系，提高標(biāo)準(zhǔn)化意識(shí)，發(fā)揮標(biāo)準(zhǔn)化的導(dǎo)向作用，在確保技術(shù)協(xié)調(diào)一致和整體效能實(shí)現(xiàn)的前提下，增強(qiáng)系統(tǒng)的擴(kuò)展性、數(shù)據(jù)共享性和互聯(lián)互通性。HDFS分布式文件系統(tǒng)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第44頁(yè)。分布式文件系統(tǒng)（DistributedFileSystem）是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)的設(shè)計(jì)基于客戶機(jī)/服務(wù)器模式。一個(gè)典型的網(wǎng)絡(luò)可能包括多個(gè)供多用戶訪問(wèn)的服務(wù)器。分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）是一個(gè)開(kāi)源云處理平臺(tái)Hadoop框架的底層實(shí)現(xiàn)部分，適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)，具有高容錯(cuò)性，能提高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合于大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS對(duì)外部客戶機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動(dòng)或重命名文件等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的，這些節(jié)點(diǎn)包括NameNode（僅一個(gè)），它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲(chǔ)塊。由于僅存在一個(gè)NameNode，因此這是HDFS的一個(gè)缺點(diǎn)（單點(diǎn)失?。?。存儲(chǔ)在HDFS中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（DataNode）。這與傳統(tǒng)的RAID架構(gòu)大不相同。塊的大小（通常為64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。NameNode可以控制所有文件操作。HDFS內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的TCP/IP協(xié)議。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第44頁(yè)。MAP/REDUCE分布式并行數(shù)據(jù)處理MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)的并行框架，為用戶提供容易使用的并行編程模式，MapReduce處理包括兩個(gè)階段，Map（映射）階段和Reduce（規(guī)范）階段。首先，Map函數(shù)把一組(Key,Value)輸入，映射為一組中間結(jié)果(Key,Value)，然后通過(guò)Reduce函數(shù)把具有相同Key值的中間結(jié)果，進(jìn)行合并化簡(jiǎn)。MapReduce將處理作業(yè)分成許多小的單元，同時(shí)數(shù)據(jù)也會(huì)被HDFS分為多個(gè)Block，并且每個(gè)數(shù)據(jù)塊被復(fù)制多份，保證系統(tǒng)的可靠性，HDFS按照一定的規(guī)則將數(shù)據(jù)塊放置在集群中的不同機(jī)器上，以便MapReduce在數(shù)據(jù)宿主機(jī)器上進(jìn)行處理。Spark實(shí)時(shí)計(jì)算框架Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，Spark擁有HadoopMapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫(xiě)HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第45頁(yè)。SparkStreaming構(gòu)建在Spark上，基本原理是將Stream數(shù)據(jù)分成小的時(shí)間片斷（幾秒），以類似批量處理的方式來(lái)處理這小部分?jǐn)?shù)據(jù)。優(yōu)點(diǎn)在于，第一Spark可以低延遲執(zhí)行（100ms+），另一方面相比基于Record的其它處理框架（如Storm），一部分窄依賴的RDD數(shù)據(jù)集可以從源數(shù)據(jù)重新計(jì)算達(dá)到容錯(cuò)處理目的。此外小批量處理的方式使得它可以同時(shí)兼容批量和實(shí)時(shí)數(shù)據(jù)處理的邏輯和算法。方便了一些需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場(chǎng)合。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第45頁(yè)。ZOOKEEPER協(xié)調(diào)調(diào)度系統(tǒng)ZOOKEEPER是一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)，將簡(jiǎn)單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。Zookeeper分為2個(gè)部分：服務(wù)器端和客戶端，客戶端只連接到整個(gè)ZooKeeper服務(wù)的某個(gè)服務(wù)器上。客戶端使用并維護(hù)一個(gè)TCP連接，通過(guò)這個(gè)連接發(fā)送請(qǐng)求、接受響應(yīng)、獲取觀察的事件以及發(fā)送心跳。啟動(dòng)Zookeeper服務(wù)器集群環(huán)境后，多個(gè)Zookeeper服務(wù)器在工作前會(huì)選舉出一個(gè)Leader，在接下來(lái)的工作中這個(gè)被選舉出來(lái)的Leader死了，而剩下的Zookeeper服務(wù)器會(huì)知道這個(gè)Leader死掉了，在活著的Zookeeper集群中會(huì)繼續(xù)選出一個(gè)Leader，選舉出leader的目的是為了可以在分布式的環(huán)境中保證數(shù)據(jù)的一致性。如圖所示：物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第46頁(yè)。另外，ZooKeeper支持watch(觀察)的概念?？蛻舳丝梢栽诿總€(gè)znode結(jié)點(diǎn)上設(shè)置一個(gè)觀察。如果被觀察服務(wù)端的znode結(jié)點(diǎn)有變更，那么watch就會(huì)被觸發(fā)，這個(gè)watch所屬的客戶端將接收到一個(gè)通知包被告知結(jié)點(diǎn)已經(jīng)發(fā)生變化。若客戶端和所連接的ZooKeeper服務(wù)器斷開(kāi)連接時(shí)，其他客戶端也會(huì)收到一個(gè)通知，也就說(shuō)一個(gè)Zookeeper服務(wù)器端可以對(duì)于多個(gè)客戶端，當(dāng)然也可以多個(gè)Zookeeper服務(wù)器端可以對(duì)于多個(gè)客戶端。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第46頁(yè)。大數(shù)據(jù)分析大數(shù)據(jù)分析需建立相應(yīng)的統(tǒng)計(jì)分析模型，大數(shù)據(jù)建模是通過(guò)多個(gè)學(xué)科技術(shù)融合，實(shí)現(xiàn)數(shù)據(jù)的抽取、管理和分析，達(dá)到發(fā)現(xiàn)新知識(shí)和規(guī)律的目的，其步驟包含模型建立、模型訓(xùn)練、模型驗(yàn)證、模型預(yù)測(cè)，利用數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)分析常用的方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁(yè)挖掘等，它們分別從不同的角度對(duì)數(shù)據(jù)進(jìn)行挖掘。分類：分類是找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過(guò)分類模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別。它可以應(yīng)用到用戶的分類、用戶的屬性和特征分析、用戶滿意度分析等，如一個(gè)XX企業(yè)將用戶按照對(duì)XX的速度、價(jià)格等因素劃分成不同的類，這樣營(yíng)銷人員就可以將廣告手冊(cè)直接郵寄到相關(guān)用戶手中，從而大大增加了商業(yè)機(jī)會(huì)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第47頁(yè)?；貧w分析：回歸分析方法反映的是事務(wù)數(shù)據(jù)庫(kù)中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問(wèn)題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)以及數(shù)據(jù)間的相關(guān)關(guān)系等。它可以應(yīng)用到市場(chǎng)營(yíng)銷的各個(gè)方面，如客戶尋求、保持和預(yù)防客戶流失活動(dòng)、產(chǎn)品生命周期分析、銷售趨勢(shì)預(yù)測(cè)及有針對(duì)性的促銷活動(dòng)等。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第47頁(yè)。聚類：聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。它可以應(yīng)用到客戶群體的分類、客戶背景分析、市場(chǎng)的細(xì)分等。關(guān)聯(lián)規(guī)則：關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則，即根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可導(dǎo)出另一些項(xiàng)在同一事務(wù)中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。在客戶關(guān)系管理中，通過(guò)對(duì)企業(yè)的大量數(shù)據(jù)進(jìn)行挖掘，可以從大量的記錄中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系，找出影響市場(chǎng)的關(guān)鍵因素，為決策支持提供參考依據(jù)。特征：特征分析是從數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)中提取出關(guān)于這些數(shù)據(jù)的特征式，這些特征式表達(dá)了該數(shù)據(jù)集的總體特征。如通過(guò)對(duì)客戶流失因素的特征提取，可以得到導(dǎo)致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預(yù)防客戶的流失。變化和偏差分析：偏差包括很大一類潛在有趣的知識(shí)，如分類中的反常實(shí)例，模式的例外，觀察結(jié)果對(duì)期望的偏差等，其目的是尋找觀察結(jié)果與參照量之間有意義的差別。在企業(yè)危機(jī)管理及其預(yù)警中，管理者更感興趣的是那些意外規(guī)則。意外規(guī)則的挖掘可以應(yīng)用到各種異常信息的發(fā)現(xiàn)、分析、識(shí)別、評(píng)價(jià)和預(yù)警等方面。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第48頁(yè)。Web頁(yè)挖掘：隨著Internet的迅速發(fā)展及Web的全球普及，使得Web上的信息量無(wú)比豐富，通過(guò)對(duì)Web的挖掘，可以利用Web的海量數(shù)據(jù)進(jìn)行分析，收集政治、經(jīng)濟(jì)、科技、金融、市場(chǎng)等有關(guān)的信息，集中精力分析和處理對(duì)行業(yè)有重大或潛在重大影響的外部環(huán)境信息和內(nèi)部信息，并根據(jù)分析結(jié)果找出管理過(guò)程中出現(xiàn)的各種問(wèn)題和可能引起危機(jī)的先兆，對(duì)這些信息進(jìn)行分析和處理，以便識(shí)別、分析、評(píng)價(jià)和管理危機(jī)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第48頁(yè)。模型的建立是一個(gè)反復(fù)的過(guò)程，需要仔細(xì)考察不同的模型及分析方法以判斷哪個(gè)模型對(duì)問(wèn)題研究最有利，此部分工作需結(jié)合各部門業(yè)務(wù)及應(yīng)用需要。機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)的主旨是使用計(jì)算機(jī)模擬人類的學(xué)習(xí)活動(dòng)，它是研究計(jì)算機(jī)識(shí)別現(xiàn)有知識(shí)、獲取新知識(shí)、不斷改善性能和實(shí)現(xiàn)自身完善的方法。學(xué)習(xí)意味著從數(shù)據(jù)中學(xué)習(xí)，通過(guò)對(duì)已知的樣本進(jìn)行訓(xùn)練得到算法模型，然后對(duì)未知樣本的度量結(jié)果（或者標(biāo)簽）進(jìn)行預(yù)測(cè)。機(jī)器學(xué)習(xí)處理過(guò)程基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第49頁(yè)。傳統(tǒng)的機(jī)器學(xué)習(xí)算法，由于技術(shù)和單機(jī)存儲(chǔ)的限制，只能在少量數(shù)據(jù)上使用，機(jī)器學(xué)習(xí)依賴于數(shù)據(jù)抽樣，而實(shí)際中樣本往往很難做好隨機(jī)，導(dǎo)致學(xué)習(xí)模型不是很準(zhǔn)確，在測(cè)試數(shù)據(jù)上效果存在偏差。隨著HDFS等分布式文件系統(tǒng)出現(xiàn)，存儲(chǔ)海量數(shù)據(jù)成為可能。XX行業(yè)大數(shù)據(jù)平臺(tái)采用sparkmllib及TensorFlow實(shí)現(xiàn)機(jī)器學(xué)習(xí)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第49頁(yè)。Spark機(jī)器學(xué)習(xí)庫(kù)MLLibSpark提供了一個(gè)基于海量數(shù)據(jù)的ML庫(kù)（MLLib），MLLib提供了常用機(jī)器學(xué)習(xí)算法的分布式實(shí)現(xiàn)，可以通過(guò)調(diào)用相應(yīng)的API來(lái)實(shí)現(xiàn)基于海量數(shù)據(jù)的ML過(guò)程。其次，Spark-Shell的即席查詢使得工程師可以邊寫(xiě)代碼，邊運(yùn)行，邊看結(jié)果。MLlib（Spark的機(jī)器學(xué)習(xí)庫(kù)）旨在簡(jiǎn)化機(jī)器學(xué)習(xí)的工程實(shí)踐工作，并方便擴(kuò)展到更大規(guī)模。MLlib由一些通用的學(xué)習(xí)算法和工具組成，包括分類、回歸、聚類、協(xié)同過(guò)濾、降維等，同時(shí)還包括底層的優(yōu)化原語(yǔ)和高層的管道API。具體來(lái)說(shuō)，其主要包括以下幾方面的內(nèi)容：算法工具：常用的學(xué)習(xí)算法，如分類、回歸、聚類和協(xié)同過(guò)濾；特征化公交：特征提取、轉(zhuǎn)化、降維和選擇公交；管道(Pipeline)：用于構(gòu)建、評(píng)估和調(diào)整機(jī)器學(xué)習(xí)管道的工具;持久性：保存和加載算法，模型和管道;實(shí)用工具：線性代數(shù)，統(tǒng)計(jì)，數(shù)據(jù)處理等工具。使用MLPipelineAPI可以很方便的把數(shù)據(jù)處理，特征轉(zhuǎn)換，正則化，以及多個(gè)機(jī)器學(xué)習(xí)算法聯(lián)合起來(lái)，構(gòu)建一個(gè)單一完整的機(jī)器學(xué)習(xí)流水線。TensorFlowTensorFlow是基于DistBelief進(jìn)行研發(fā)的人工智能學(xué)習(xí)系統(tǒng)，Tensor（張量）意味著N維數(shù)組，F(xiàn)low（流）意味著基于數(shù)據(jù)流圖的計(jì)算，TensorFlow為張量從流圖的一端流動(dòng)到另一端計(jì)算過(guò)程。TensorFlow是將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)行分析和處理過(guò)程的系統(tǒng)。其使用方式包含：物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第50頁(yè)。使用圖(graph)

來(lái)表示計(jì)算任務(wù)物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第50頁(yè)。使用

tensor

表示數(shù)據(jù)通過(guò)變量(Variable)

維護(hù)狀態(tài)使用

feed

和

fetch

可以為任意的操作(arbitraryoperation)賦值或者從其中獲取數(shù)據(jù)自然語(yǔ)言處理基于大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)技術(shù)，對(duì)采集數(shù)據(jù)、行業(yè)數(shù)據(jù)等進(jìn)行文本處理，包括自動(dòng)分詞、關(guān)鍵詞提取、文本摘要、命名實(shí)體識(shí)別、自動(dòng)分類、拼音檢索、短語(yǔ)檢索等。自動(dòng)分詞系統(tǒng)在接入數(shù)據(jù)后進(jìn)行預(yù)處理時(shí)可采用分詞技術(shù)對(duì)文本內(nèi)容進(jìn)行分詞，分詞是指將文本切分成詞語(yǔ)，在詞語(yǔ)切分的基礎(chǔ)上可以方便地進(jìn)行各種文本挖掘工作。采用基于規(guī)則與統(tǒng)計(jì)相結(jié)合的分詞技術(shù)，將中文的漢字序列切分成有意義的詞，能夠支持多種詞典，并保證分詞的快速性、準(zhǔn)確性與實(shí)用性；可應(yīng)用于文獻(xiàn)檢索、搜索引擎等諸多領(lǐng)域，提高檢索的相關(guān)性排序的準(zhǔn)確度等。主要功能還包括：1.將文本進(jìn)行切割形成分詞效果2.用戶可自行定義分詞的分隔符3.分詞結(jié)果可以連同詞性一起作為結(jié)果顯示關(guān)鍵詞提取物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第51頁(yè)。在接入數(shù)據(jù)后進(jìn)行預(yù)處理時(shí)可采用關(guān)鍵詞提取技術(shù)對(duì)文本的關(guān)鍵詞進(jìn)行提取等操作，可自定義關(guān)鍵詞個(gè)數(shù)，保證關(guān)鍵詞提取的快速性和準(zhǔn)確性。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第51頁(yè)。文本摘要在接入數(shù)據(jù)后進(jìn)行預(yù)處理時(shí)可采用摘要技術(shù)對(duì)文本的摘要進(jìn)行提取等操作，通過(guò)調(diào)節(jié)摘要百分比控制摘要占文章的長(zhǎng)度的百分比，保證文本摘要的快速性和準(zhǔn)確性。命名實(shí)體識(shí)別實(shí)體識(shí)別技術(shù)主要是對(duì)文本的實(shí)體詞進(jìn)行識(shí)別操作，對(duì)文本抽取出其中包含的人名、地名、組織機(jī)構(gòu)名、身份證號(hào)碼、電話、時(shí)間、Email、車牌號(hào)、專有名詞等實(shí)體信息?；谝?guī)則與統(tǒng)計(jì)相結(jié)合的技術(shù)，從非結(jié)構(gòu)的文本信息中抽取有意義的實(shí)體信息，保證命名實(shí)體識(shí)別的快速性和準(zhǔn)確性，被抽取的實(shí)體信息以結(jié)構(gòu)化的形式進(jìn)行描述，并可以存入結(jié)構(gòu)化數(shù)據(jù)庫(kù)中，供分析和利用。自動(dòng)分類文本自動(dòng)分類技術(shù)支持兩種分類方式：基于內(nèi)容的文本自動(dòng)分類和基于規(guī)則的文本分類。自動(dòng)分類支持置信度限制，可根據(jù)置信度對(duì)分類的結(jié)果進(jìn)行過(guò)濾，支持分類結(jié)果和置信度共同輸出?；谝?guī)則的文本分類可輸入相關(guān)分類規(guī)則，如按行業(yè)、地域等，系統(tǒng)能基于規(guī)則實(shí)現(xiàn)類別的劃分。分類可同時(shí)使用，滿足自動(dòng)分類的快速性、準(zhǔn)確性。文本內(nèi)容抽取物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第52頁(yè)。文本內(nèi)容抽取可將doc、pdf等文檔文件中的文字內(nèi)容進(jìn)行抽取，即提取文檔的純文本數(shù)據(jù)。支持多種抽取服務(wù)，并可以進(jìn)行擴(kuò)展，適應(yīng)在不同條件下，使用不同的抽取服務(wù)，也可以輪詢多種服務(wù)，直到成功為止。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第52頁(yè)。數(shù)據(jù)入庫(kù)數(shù)據(jù)經(jīng)過(guò)接入、處理后對(duì)數(shù)據(jù)進(jìn)行入庫(kù)操作，為后續(xù)的統(tǒng)計(jì)分析及可視化提供基礎(chǔ)的數(shù)據(jù)源。支持多線程裝庫(kù)，保證數(shù)據(jù)入庫(kù)快速高效、數(shù)據(jù)完整性、一致性。支持?jǐn)?shù)據(jù)入庫(kù)到多種關(guān)系型數(shù)據(jù)庫(kù)中，包括MySQL、SQLServer、DB2、Oracle、Sybase等常見(jiàn)數(shù)據(jù)庫(kù)類型。數(shù)據(jù)可視化基本概念數(shù)據(jù)可視化，是關(guān)于數(shù)據(jù)視覺(jué)表現(xiàn)形式的科學(xué)技術(shù)研究?？梢暬夹g(shù)是利用計(jì)算機(jī)圖形學(xué)及圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像形式顯示到屏幕上，并進(jìn)行交互處理的理論、方法和技術(shù)。它涉及計(jì)算機(jī)視覺(jué)、圖像處理、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)圖形學(xué)等多個(gè)領(lǐng)域，成為一項(xiàng)研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分析等問(wèn)題的綜合技術(shù)。其基本概念包含以下維度：1）數(shù)據(jù)空間。由n維屬性、m個(gè)元素共同組成的數(shù)據(jù)集構(gòu)成的多維信息空間。2）數(shù)據(jù)開(kāi)發(fā)。利用一定的工具及算法對(duì)數(shù)據(jù)進(jìn)行定量推演及計(jì)算。3）數(shù)據(jù)分析。對(duì)多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動(dòng)作剖析數(shù)據(jù)，從而可以多角度多側(cè)面的觀察數(shù)據(jù)。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第53頁(yè)。4）數(shù)據(jù)可視化。將大型數(shù)據(jù)集中的數(shù)據(jù)通過(guò)圖形圖像方式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第53頁(yè)。數(shù)據(jù)可視化標(biāo)準(zhǔn)為實(shí)現(xiàn)信息的有效傳達(dá)，數(shù)據(jù)可視化應(yīng)兼顧美學(xué)與功能，直觀的傳達(dá)出關(guān)鍵的特征，便于挖掘數(shù)據(jù)背后隱藏的價(jià)值。可視化技術(shù)應(yīng)用標(biāo)準(zhǔn)應(yīng)該包含以下4個(gè)方面：1）直觀化。將數(shù)據(jù)直觀、形象的呈現(xiàn)出來(lái)。2）關(guān)聯(lián)化。突出的呈現(xiàn)出數(shù)據(jù)之間的關(guān)聯(lián)性。3）藝術(shù)性。使數(shù)據(jù)的呈現(xiàn)更具有藝術(shù)性，更加符合審美規(guī)則。4）交互性。實(shí)現(xiàn)用戶與數(shù)據(jù)的交互，方便用戶控制數(shù)據(jù)。數(shù)據(jù)可視化數(shù)據(jù)可視化允許利用圖形、圖像處理、計(jì)算機(jī)視覺(jué)以及用戶界面，通過(guò)表達(dá)、建模以及對(duì)立體、表面、屬性以及動(dòng)畫(huà)的顯示，對(duì)數(shù)據(jù)加以可視化解釋。數(shù)據(jù)可視化技術(shù)的基本思想，是將數(shù)據(jù)庫(kù)中每一個(gè)數(shù)據(jù)項(xiàng)作為單個(gè)圖元元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時(shí)將數(shù)據(jù)的各個(gè)屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對(duì)數(shù)據(jù)進(jìn)行更深入的觀察和分析?？梢暬瘮?shù)據(jù)通常分為：一維數(shù)據(jù)、二維數(shù)據(jù)、三維數(shù)據(jù)、高維數(shù)據(jù)、時(shí)態(tài)數(shù)據(jù)、層次數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)。其中一維數(shù)據(jù)較為簡(jiǎn)單，為直觀的展示，二維數(shù)據(jù)、三維數(shù)據(jù)應(yīng)用最為廣泛，高維數(shù)據(jù)、層次數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、時(shí)態(tài)數(shù)據(jù)則處于發(fā)展前期。一維數(shù)據(jù)就是一條線，線上的每個(gè)點(diǎn)可以用一個(gè)數(shù)值來(lái)表示。如：a1:A99,B:B（A1:A99就如同數(shù)學(xué)里的線段，它是直線的一段，B:B就是直線化的數(shù)據(jù)）。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第54頁(yè)。二維數(shù)據(jù)就是一組平面化的數(shù)據(jù)，平面中的某個(gè)點(diǎn)的位置可以用兩個(gè)坐標(biāo)值來(lái)表示，如：A1:E5,A:D。常見(jiàn)的二維數(shù)據(jù)表示方法如柱形圖、條形圖等。物流大數(shù)據(jù)平臺(tái)可行性研究報(bào)告全文共69頁(yè)，當(dāng)前為第54頁(yè)。三維數(shù)據(jù)是一個(gè)立方體，立方體內(nèi)的某個(gè)位置需要三個(gè)坐標(biāo)值來(lái)表示，是多個(gè)二維平面數(shù)據(jù)的層疊，就如同若干張紙（二維的面）形成一本書(shū)（立體三維），常見(jiàn)的如氣泡圖、熱力圖等。高維數(shù)據(jù)是指每一個(gè)樣本數(shù)據(jù)包含p(p≥4)維空間特征。如果單從高維數(shù)據(jù)的抽象數(shù)據(jù)值上進(jìn)行分析很難得到有用的信息。相對(duì)于對(duì)數(shù)據(jù)的高維模擬，低維空間的可視化技術(shù)顯得更簡(jiǎn)單、直截。而且高維空間包含的元素相對(duì)于低維空間來(lái)說(shuō)更加更復(fù)雜，容易造成人們的分析混亂。將高維數(shù)據(jù)信息映射到二三維空間上，方便高維數(shù)據(jù)進(jìn)行人與數(shù)據(jù)的交互，有助于對(duì)數(shù)據(jù)進(jìn)行聚類以及分類。層次數(shù)據(jù)具有等級(jí)或?qū)蛹?jí)關(guān)系。層次數(shù)據(jù)的可視化方法