大數(shù)據(jù)在物流管理中的應(yīng)用

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)大數(shù)據(jù)在物流管理中的應(yīng)用摘要 當前，隨著電子商務(wù)的發(fā)展物流業(yè)也隨之迅猛的發(fā)展起來。僅在2015年“雙11”期間，快件業(yè)務(wù)量或?qū)⑼黄?億件，比去年同期增長近五成；最高日處理量或?qū)⑦_到9000萬件，比去年增長38.5。因此如何及時、準確地收集和分析各種信息與數(shù)據(jù),對于制定科學的物流解決方案、提高物流企業(yè)管理水平和效益,具有積極重要的作用。在技術(shù)趨于成熟下，帶動了以大數(shù)據(jù)應(yīng)用為基礎(chǔ)的智能物流的興起，極大的促進了產(chǎn)業(yè)優(yōu)化，實現(xiàn)物流產(chǎn)業(yè)各個環(huán)節(jié)的信息共享和協(xié)調(diào)合作，優(yōu)化配置。本文

2、的研究意義在于，如何在大數(shù)據(jù)技術(shù)的基礎(chǔ)上對于物流產(chǎn)業(yè)產(chǎn)生的數(shù)據(jù)進行分析，整合，做出科學的決策。關(guān)鍵詞大數(shù)據(jù)；物流；管理目錄引言1大數(shù)據(jù)概述1 （一）大數(shù)據(jù)的定義1 （二）大數(shù)據(jù)的特征1 （三）大數(shù)據(jù)的關(guān)鍵技術(shù)2 物流管理及物流管理系統(tǒng)概述4 （一）物流管理的定義4 （二）物流管理的特點4 （三）物流管理的基本內(nèi)容4 （四）物流管理系統(tǒng)5物流管理現(xiàn)狀7大數(shù)據(jù)在物流管理中的應(yīng)用9 （一）物流管理系統(tǒng)數(shù)據(jù)庫9 （二）物流管理系統(tǒng)中大數(shù)據(jù)技術(shù)的應(yīng)用11 （三）大數(shù)據(jù)應(yīng)用于物流管理的重要意義12總結(jié)與展望13致謝語16參考文獻17引言電子商務(wù)已越來越深入人心，隨之發(fā)展的首要問題就是物流的問題。當前，我國

3、的物流業(yè)也保持著高速的增長，物流的各個環(huán)節(jié)產(chǎn)生的數(shù)據(jù)正已爆炸性的增長。在現(xiàn)今物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術(shù)的發(fā)展下。如何運用大數(shù)據(jù)技術(shù)運用到物流管理上，對物流數(shù)據(jù)進行挖掘、分析、提煉、整合，以便了解物流的狀況和業(yè)務(wù)情況，并進行戰(zhàn)略規(guī)劃，制定物流企業(yè)決策，提升物流業(yè)的服務(wù)水平。本文介紹大數(shù)據(jù)的相關(guān)術(shù)語和技術(shù)；介紹現(xiàn)代物流管理以及分析物流管理的現(xiàn)狀；分析大數(shù)據(jù)在物流管理的前景，研究大數(shù)據(jù)技術(shù)可運用在物流管理的技術(shù)；發(fā)現(xiàn)如今在物流管理中存在的問題并提出相關(guān)的對策建議。大數(shù)據(jù)概述（一）大數(shù)據(jù)的定義大數(shù)據(jù)技術(shù)(Big data），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理

4、時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的大數(shù)據(jù)時代中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進行分析處理。（二）大數(shù)據(jù)的特征（1）體重（Volume）：體重是大數(shù)據(jù)的空間屬性。數(shù)據(jù)體量巨大，非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長，從TB級別躍升到PB級別。（2）多樣性（Variety）：多樣式大數(shù)據(jù)的結(jié)構(gòu)屬性。數(shù)據(jù)類型繁多，有很多不同類型的數(shù)據(jù)，如文本、圖像、視頻、機器數(shù)據(jù)、地理位置信息等。（3）價值密度（Value）：價值密度是大數(shù)據(jù)的內(nèi)容屬性。價值密度低，商業(yè)價值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有

5、用的數(shù)據(jù)僅僅有一兩秒。（4）速度（Velocity）：速度是大數(shù)據(jù)的時間屬性。處理速度快，遵循1秒定律，實時分析而非批量式分析。（三）大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程并無太大差異，主要區(qū)別在于：由于大數(shù)據(jù)要處理大量、非結(jié)構(gòu)化的數(shù)據(jù)，所以在各個處理環(huán)節(jié)中都可以采用MapReduce等處理。如下圖1所示： 圖1適用MapReduce的各環(huán)節(jié)處理1.大數(shù)據(jù)的并行處理利器MapReduce如下圖2所示 大數(shù)據(jù)可以通過MapReduce這一并行處理技術(shù)來提高數(shù)據(jù)的處理速度。MapReduce的設(shè)計初衷是通過大量廉價服務(wù)器實現(xiàn)大數(shù)據(jù)并行處理，對數(shù)據(jù)一致性要求不高，其突出優(yōu)勢是具有擴展

6、性和可用性，特別適用于海量的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的混合處理。MapReduce將傳統(tǒng)的查詢、分解及數(shù)據(jù)分析進行分布式處理，將處理任務(wù)分配到不同的處理節(jié)點，因此具有更強的并行處理能力。作為一個簡化的并行處理的編程模型，MapReduce還降低了開發(fā)并行應(yīng)用的門檻。MapReduce是一套軟件框架，包括Map（映射）和Reduce（化簡）兩個階段，可以進行海量數(shù)據(jù)分割、任務(wù)分解與結(jié)果匯總，從而完成海量數(shù)據(jù)的并行處理。圖2 MapReduce工作流程MapReduce的工作原理其實是先分后合的數(shù)據(jù)處理方式。Map即“分解”，把海量數(shù)據(jù)分割成了若干部分，分給多臺處理器并行處理；Reduce即

7、“合并”，把各臺處理器處理后的結(jié)果進行匯總操作以得到最終結(jié)果。如右圖所示，如果采用MapReduce來統(tǒng)計不同幾何形狀的數(shù)量，它會先把任務(wù)分配到兩個節(jié)點，由兩個節(jié)點分別并行統(tǒng)計，然后再把它們的結(jié)果匯總，得到最終的計算結(jié)果。數(shù)據(jù)處理方式如下圖3所示：MapReduce適合進行數(shù)據(jù)分析、日志分析、商業(yè)智能分析、客戶營銷、大規(guī)模索引等業(yè)務(wù)，并具有非常明顯的效果。通過結(jié)合MapReduce技術(shù)進行實時分析，某家電公司的信用計算時間從33小時縮短到8秒，而MKI的基因分析時間從數(shù)天縮短到20分鐘。 圖3 使用MapReduce進行形狀計數(shù)2.大數(shù)據(jù)技術(shù)在數(shù)據(jù)采集方面采用的方法（1）系統(tǒng)日志采集方法很多互

8、聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求。（2）網(wǎng)絡(luò)數(shù)據(jù)采集方法：對非結(jié)構(gòu)化數(shù)據(jù)的采集網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關(guān)聯(lián)。除了網(wǎng)絡(luò)中包含的內(nèi)容之外，對于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進行處理。（3）其他數(shù)據(jù)

9、采集方法對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究機構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。物流管理概述（一）物流管理的定義物流管理（Logistics Management）是指在社會再生產(chǎn)過程中，根據(jù)物質(zhì)資料實體流動的規(guī)律，應(yīng)用管理的基本原理和科學方法，對物流活動進行計劃、組織、指揮、協(xié)調(diào)、控制和監(jiān)督，使各項物流活動實現(xiàn)最佳的協(xié)調(diào)與配合，以降低物流成本，提高物流效率和經(jīng)濟效益?，F(xiàn)代物流管理是建立在系統(tǒng)論、信息論和控制論的基礎(chǔ)上的。（二）物流管理的特點（1）以實現(xiàn)客戶滿意為第一目標；（2）以企業(yè)整體最優(yōu)為目的；（3）以信息為中心；（4）重效率更重效果。

10、（三）物流管理的基本內(nèi)容1.物流作業(yè)管理物流作業(yè)管理是指對物流活動或功能要素的管理，主要包括運輸與配送管理、倉儲與物料管理、包裝管理、裝卸搬運管理、流通加工管理、物流信息管理等等。2.物流戰(zhàn)略管理物流戰(zhàn)略管理（logistics strategy management）是對企業(yè)的物流活動實行的總體性管理，是企業(yè)制定、實施、控制和評價物流戰(zhàn)略的一系列管理決策與行動，其核心問題是使企業(yè)的物流活動與環(huán)境相適應(yīng)，以實現(xiàn)物流的長期、可持續(xù)發(fā)展。3.物流成本管理物流成本管理是指有關(guān)物流成本方面的一切管理工作的總稱，即對物流成本所進行的計劃、組織、指揮、監(jiān)督和調(diào)控。物流成本管理的主要內(nèi)容包括物流成本核算、物

11、流成本預(yù)測、物流成本計劃、物流成本決策、物流成本分析、物流成本控制等等。4.物流服務(wù)管理所謂物流服務(wù)，是指物流企業(yè)或企業(yè)的物流部門從處理客戶訂貨開始，直至商品送交客戶過程中，為滿足客戶的要求，有效地完成商品供應(yīng)、減輕客戶的物流作業(yè)負荷，所進行的全部活動。5.物流組織與人力資源管理物流組織是指專門從事物流經(jīng)營和管理活動的組織機構(gòu)，既包括企業(yè)內(nèi)部的物流管理和運作部門、企業(yè)間的物流聯(lián)盟組織，也包括從事物流及其中介服務(wù)的部門、企業(yè)以及政府物流管理機構(gòu)。6.供應(yīng)鏈管理供應(yīng)鏈管理（Supply Chain Management），是用系統(tǒng)的觀點通過對供應(yīng)鏈中的物流、信息流和資金流進行設(shè)計、規(guī)劃、控制與優(yōu)化

12、，以尋求建立供、產(chǎn)、銷企業(yè)以及客戶間的戰(zhàn)略合作伙伴關(guān)系，最大程度地減少內(nèi)耗與浪費，實現(xiàn)供應(yīng)鏈整體效率的最優(yōu)化并保證供應(yīng)鏈成員取得相應(yīng)的績效和利益，來滿足顧客需求的整個管理過程。 （四）物流管理系統(tǒng)1.物流管理系統(tǒng)結(jié)構(gòu)設(shè)計物流管理系統(tǒng)是信息的主要組成部分，對物流信息經(jīng)過收集、儲存、加工、處理和傳輸來實現(xiàn)對物流活動的有效控制和管理，并通過對數(shù)據(jù)的挖掘、分析，為物流企業(yè)提供戰(zhàn)略規(guī)劃、溝通協(xié)調(diào)、運營管理、行為分析和決策支持的交互系統(tǒng)。系統(tǒng)由基礎(chǔ)管理、倉儲管理、銷售管理和結(jié)算管理四大子系統(tǒng)構(gòu)成，主要功能如下：（1）基礎(chǔ)管理：對貨主進行身份注冊、驗證、注銷等管理，及時將產(chǎn)品物流相關(guān)信息通過網(wǎng)頁、論壇、微博

13、、微信等方式進行發(fā)布?；A(chǔ)管理保證物流管理的操作和有效的運行。（2）倉儲管理：對倉庫內(nèi)的物資進行入庫、出庫、作業(yè)、流程、安全和庫存進行管理，根據(jù)銷售管理系統(tǒng)提供的數(shù)據(jù)，對庫存進行補貨或訂貨勸告，適時適量調(diào)整訂貨的信息。倉儲管理是物流管理系統(tǒng)的功能模塊，實現(xiàn)企業(yè)及貨主實時對倉庫的狀況掌握相關(guān)信息，不盲目的進行進貨，保證倉庫安全等事宜。（3）銷售管理：對訂貨信息的完整及其準確度進行校驗，并對訂單的相關(guān)制約條件進行審查。根據(jù)銷售的產(chǎn)品銷售情況和客戶詢價情況，及時反饋給倉儲管理系統(tǒng)，適當控制存庫。銷售管理是物流管理系統(tǒng)的功能模塊，利于企業(yè)及其使用者掌握銷售信息，做出正確的決定，降低商業(yè)風險。(4) 結(jié)

14、算管理：對合同進行管理，對合同的訂立、履行、解除、轉(zhuǎn)讓等情況進行管理。根據(jù)數(shù)據(jù)分析結(jié)果、客戶行為分析和市場導向，合理設(shè)定費率和費用，并根據(jù)設(shè)定的費率和費用，計算相關(guān)產(chǎn)品物流管理費用。合同管理是物流管理系統(tǒng)的一個至關(guān)重要的模塊，有效的幫助企業(yè)規(guī)避風險等重要事宜。物流管理系統(tǒng)如下圖4所示：圖4 物流管理系統(tǒng)2.物流管理系統(tǒng)工作流程1.信息采集物流管理系統(tǒng)首先通過GPS、無線射頻、條碼掃描等方式從運輸載體、人員、貨物中實時采集數(shù)據(jù)輸入到系統(tǒng)中，在處理之前，保存在系統(tǒng)數(shù)據(jù)庫中，以保證數(shù)據(jù)的完整性、實時性和準確性。信息處理有些數(shù)據(jù)在處理之后還有利用價值，要將其保存下來，以供以后分析使用。同時，物流數(shù)據(jù)在

15、系統(tǒng)中，要準確、及時地傳輸?shù)礁鱾€職能環(huán)節(jié)，保證數(shù)據(jù)的使用價值。之后，系統(tǒng)將輸入的數(shù)據(jù)加工處理成系統(tǒng)所需要的物流信息，并進行數(shù)據(jù)挖掘、分析和利用，形成大數(shù)據(jù)價值鏈。3.信息發(fā)布信息發(fā)布是通過網(wǎng)站、微博、微信等方式實現(xiàn)物流信息發(fā)布，力求在輸出形式上力求易讀易懂，直觀醒目。工作流程如下圖5所示：圖5物流管理工作流程目前物流管理的基本現(xiàn)狀 1.企業(yè)對物流管理沒有足夠重視 目前很多企業(yè)對物流的管理理解不深,認為物流管理只是簡單的運輸和倉儲,忽略了現(xiàn)代物流管理的重要目標,即最大限度地滿足顧客要求,提高企業(yè)經(jīng)濟效益。隨著社會經(jīng)濟分工的細化,客戶對物流服務(wù)的要求也越來越高,追求個性化與多樣化的服務(wù)。企業(yè)對物流

16、管理的不重視,會使企業(yè)物流管理缺乏宏觀上的把握,管理松懈,不利于提高物流服務(wù)的質(zhì)量。 2 企業(yè)物流基礎(chǔ)設(shè)施陳舊落后 大多數(shù)企業(yè)的物流基礎(chǔ)設(shè)施沒有足夠的資金投入,也沒有納入到企業(yè)的發(fā)展戰(zhàn)略之中,在物流管理方面也沒有引起足夠的重視,最終導致物流設(shè)施的陳舊、落后,企業(yè)的物流基礎(chǔ)也得不到完善。企業(yè)規(guī)劃時多數(shù)是以生產(chǎn)為主線的,沒能在整體上考慮物流基礎(chǔ)設(shè)施,最終導致企業(yè)內(nèi)部存在交叉作業(yè)、無效運輸、移動等現(xiàn)象。很多企業(yè)不借助第三方物流來實現(xiàn)運輸,依靠自身經(jīng)營物流,而自營物流硬件設(shè)施不完善,在此情況下,就需要人力來完成物流過程。 3.企業(yè)物流管理機構(gòu)設(shè)置不當,部門協(xié)調(diào)不充分 我國企業(yè)在物流管理方面還沒有建立專

17、門的物流管理部門,當然也就談不上對物流管理系統(tǒng)中的每一個環(huán)節(jié)的規(guī)劃和管理,這使得物流管理系統(tǒng)分散,不利于企業(yè)物流的整合。職能分散還會使得企業(yè)在采購、生產(chǎn)、運輸、倉儲等方面很難同時達到規(guī)模經(jīng)濟,造成資源浪費。 4.企業(yè)物流管理中信息技術(shù)落后 目前，我國物流管理水平相對較低,手段比較單一,現(xiàn)代信息化技術(shù)在管理中沒有得到充分的應(yīng)用,對網(wǎng)絡(luò)信息技術(shù)的應(yīng)用還停留在低級階段,信息技術(shù)網(wǎng)絡(luò)還不健全,不利于及時反映出物流服務(wù)的需求信息。有一些企業(yè)在物流管理中也配備了信息系統(tǒng),但只在物流過程中的幾個環(huán)節(jié)使用,還沒有有效地實現(xiàn)物流供應(yīng)鏈信息集成。 物流管理專業(yè)人才短缺 物流是一種綜合性強、技術(shù)含量高、覆蓋范圍廣的

18、行業(yè),所以其對物流管理人員的專業(yè)素質(zhì)要求也就比較高,除熟悉物流管理環(huán)節(jié)外，還要有必備的物流管理專業(yè)知識,并且精通物流各環(huán)節(jié)技術(shù)運作。特別是隨著國際物流系統(tǒng)的形成,現(xiàn)代企業(yè)急需的是熟知電子商務(wù)、海關(guān)業(yè)務(wù)、進出口貿(mào)易、國際法、供應(yīng)鏈管理、采購系統(tǒng)等方面的復(fù)合型物流管理人才。但目前,我國企業(yè)在物流管理方面還缺乏專業(yè)技能人才,和現(xiàn)代物流企業(yè)現(xiàn)代化建設(shè)差距較遠。尤其一些中小型企業(yè)不重視物流管理,也沒有計劃性地培養(yǎng)專業(yè)人才,造成了人才短缺的現(xiàn)象。再者,我國職業(yè)教育培訓體系相對落后,使得專業(yè)的物流管理人才數(shù)量遠遠不能滿足市場的需求,阻礙了我國企業(yè)物流管理的發(fā)展。 5.物流管理技術(shù)落后當今世界，企業(yè)的競爭是綜

19、合實力的競爭，物流職能是企業(yè)主要職能之一，因此被譽為“第三方利潤源泉”，也受到了越來越多企業(yè)的關(guān)注。物流過程實質(zhì)上是“物流、資金流和信息流”的“三流一體化”過程，只有將三者有效地結(jié)合，才能真正達到降低流通成本、提高物流工作效率的目的。因此，信息化管理已成為現(xiàn)代企業(yè)的基本模式，企業(yè)的物流管理信息化已大勢所趨。然而我國大多數(shù)企業(yè)信息收集、處理的效率非常低，很多企業(yè)停留在紙筆時代，有些企業(yè)配備了電腦，但是沒有形成系統(tǒng)，更沒有形成網(wǎng)絡(luò)。信息對企業(yè)來說非常重要，他是協(xié)調(diào)各部門的基礎(chǔ)。信息技術(shù)被視為是提高生產(chǎn)率和競爭力的主要手段，它在不斷地提高速度和能力，同時又在降低成本，新技術(shù)日新月異，現(xiàn)在被廣泛應(yīng)用的

20、有電子數(shù)據(jù)交換（）、個人電腦、人工智能專家系統(tǒng)、通信、條形碼和掃描技術(shù)，這些在中國企業(yè)中的應(yīng)用都很低。我國國民經(jīng)濟已經(jīng)歷了20余年的高速發(fā)展，積累了雄厚的物質(zhì)基礎(chǔ)，各主要行業(yè)的標準化建設(shè)，也已形成各自的一套體系，而這些體系的形成，并沒有考慮到現(xiàn)代物流發(fā)展的需要?，F(xiàn)有技術(shù)標準存在多方面的差異，制約了物流的協(xié)調(diào)運作，突出表現(xiàn)在托盤、包裝、信息技術(shù)等通用設(shè)備與技術(shù)上面。鐵路、公路、海運、民航、工業(yè)部門物流系統(tǒng)，都有自己的或選擇不同的物流標準，形式多樣，版本不一。除了經(jīng)濟上的直接損失，還造成人力、時間、效率等方面無法估算的損失。物流標準化的市場基礎(chǔ)比較薄弱，直接影響到物流標準化的實施。國家標準儲運單元

21、條碼頒布后，實際應(yīng)用正確率不足15，沒有實現(xiàn)規(guī)范物流條碼的預(yù)期目的。如我國集裝箱運輸僅占總貨運量的20%，而世界平均水平是65%。6.傳統(tǒng)的數(shù)據(jù)處理技術(shù)滿足不了現(xiàn)在的需求現(xiàn)代物流與傳統(tǒng)物流的最本質(zhì)區(qū)別就是現(xiàn)代信息技術(shù)的應(yīng)用，因此現(xiàn)代物流離不開計算機網(wǎng)絡(luò)技術(shù)和信息技術(shù)的支撐，要具有系統(tǒng)化、信息化、自動化、網(wǎng)絡(luò)化、智能化、標準化、社會化的幾個基本特征。中國的物流尚沒有以現(xiàn)代信息技術(shù)為基礎(chǔ)，把運輸、包裝、儲存、流通加工、配送、信息處理等功能結(jié)合起來，形成一個高效、暢通的綜合物流體系。近年來，信息技術(shù)開始在物流領(lǐng)域開始應(yīng)用和發(fā)展。但由于歷史的以及現(xiàn)代發(fā)展的種種原因，比如物流不被重視，從業(yè)人員素質(zhì)較低，

22、電腦應(yīng)用較少，對信息化的意識不強等原因，我國物流的總體信息化程度還比較低，全國范圍內(nèi)尚未構(gòu)成有機協(xié)調(diào)的物流網(wǎng)絡(luò)體系。因此應(yīng)用數(shù)據(jù)挖掘?qū)ΜF(xiàn)代農(nóng)業(yè)物流管理決策進行研究具有非常重要的意義。四、大數(shù)據(jù)在物流管理系統(tǒng)中的應(yīng)用物流管理系統(tǒng)產(chǎn)生的數(shù)據(jù)分散存儲、數(shù)據(jù)模型不統(tǒng)一、標準化程度低、無法支持非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)處理、數(shù)據(jù)未能有效地進行商業(yè)利用等特點，給予大數(shù)據(jù)的物流管理系統(tǒng)構(gòu)建數(shù)據(jù)集中、數(shù)據(jù)模型標準化、數(shù)據(jù)統(tǒng)一存儲和處理、多結(jié)構(gòu)化數(shù)據(jù)處理的模式、對產(chǎn)品搜索引擎和詢價日志進行收集并管理，對海量數(shù)據(jù)進行計算和分布式處理，實現(xiàn)海量管理系統(tǒng)數(shù)據(jù)的實時快速加載、實時復(fù)雜查詢和數(shù)據(jù)的實時入庫，結(jié)合用戶上網(wǎng)日志和

23、互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容，進行深度數(shù)據(jù)挖掘和分析，為企業(yè)把我用戶行為偏好、改善用戶體驗、精準行銷、產(chǎn)品競爭力分析提供數(shù)據(jù)支持。（一）物流管理系統(tǒng)數(shù)據(jù)庫1.Hadoop介紹前文已經(jīng)介紹了MapReduce模式，其中心思想就是分而治之。MapReduce集群由普通PC機構(gòu)成，為無共享式架構(gòu)。在處理之前，將數(shù)據(jù)集分布至各個節(jié)點。處理時，每個節(jié)點就近讀取本地存儲的數(shù)據(jù)處理（map），將處理后的數(shù)據(jù)進行合并（combine）、排序（shuffle and sort）后再分發(fā)（至reduce節(jié)點），避免了大量數(shù)據(jù)的傳輸，提高了處理效率。無共享式架構(gòu)的另一個好處是配合復(fù)制（replication）策略，集群可以具有良

24、好的容錯性，一部分節(jié)點的死機不會對集群的正常工作造成影響。Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架。它是一個基于分布式系統(tǒng)（HDFS）及其分布式數(shù)據(jù)庫（HBase）用來將數(shù)據(jù)存儲或部署到各個計算節(jié)點。用我們通俗的數(shù)學語言來表述，它大致上是：Hadoop =HDFS（文件系統(tǒng)，數(shù)據(jù)存儲相關(guān)技術(shù)）+HBase(數(shù)據(jù)庫)+MapReduce（數(shù)據(jù)處理)。其框架如下表1所示：云計算及架構(gòu)HadoopHDFSF分布式文件系統(tǒng)MapReduce API(Map,Reduce)HBase分布式數(shù)據(jù)庫表1 Hadoop框架結(jié)構(gòu)2.Hbase分布式數(shù)據(jù)庫HBase是一個分布式的、面

25、向列的開源數(shù)據(jù)庫，它不同于一般的關(guān)系數(shù)據(jù)庫,是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的數(shù)據(jù)模型。用戶存儲數(shù)據(jù)行在一個表里。一個數(shù)據(jù)行擁有一個可選擇的鍵和任意數(shù)量的列，一個或多個列組成一個ColumnFamily，一個Fmaily下的列位于一個HFile中，易于緩存數(shù)據(jù)。3.物流管理系統(tǒng)數(shù)據(jù)庫系統(tǒng)采取以Hadoop為代表的NOSQL數(shù)據(jù)庫技術(shù)和基于SQL的分布式數(shù)據(jù)庫技術(shù)，采用Hadoop和數(shù)據(jù)倉庫混搭的方式，對結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)和復(fù)雜數(shù)據(jù)進行存儲與處理。將結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、查詢較少的數(shù)據(jù)保

26、存在NOSQL數(shù)據(jù)庫或Hadoop平臺中；將結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常查詢的數(shù)據(jù)保存在關(guān)系型數(shù)據(jù)庫中，短期高價值數(shù)據(jù)放在高性能平臺，中長期的數(shù)據(jù)放在低成本平臺中，以實現(xiàn)數(shù)據(jù)高效率低成本的存儲和處理。Hbase模型如下圖7所示：圖7 Hadoop模型（二）物流管理系統(tǒng)中大數(shù)據(jù)技術(shù)的應(yīng)用物流銷售管理系統(tǒng)中的統(tǒng)計分析子系統(tǒng)通過對用戶信息提取、訪問熱點分析、產(chǎn)品競爭力對比分析，結(jié)合用戶上網(wǎng)日志及互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容，仔細對客戶進行細分，分析用戶決策因素、購物偏好、價格承受范圍，為準確把握用戶購買心理，產(chǎn)品發(fā)展趨勢，企業(yè)戰(zhàn)略規(guī)劃，系統(tǒng)運營管理提供決策支持。子系統(tǒng)如下圖6所示：圖6 物流銷售分析中的大數(shù)據(jù)運用由

27、上圖所示，即物流管理大數(shù)據(jù)的架構(gòu)，在此來一一剖析與解讀：物流管理大數(shù)據(jù)的架構(gòu)，從上至下分為五個層次，它們分別是：用戶接口、分類模塊、計算模塊、存儲模塊、查詢模塊。（1）用戶接口。用來與用戶對接，方便使用者管理運用，也是數(shù)據(jù)的來源，在這個模塊上產(chǎn)生輸入數(shù)據(jù)。（2）分類模塊。數(shù)據(jù)由此進入存儲中心，分類管理。利用用戶接口傳輸來的數(shù)據(jù)再傳送到下面的計算模塊。分門別類的對應(yīng)空間管理、倉儲管理、銷售管理和結(jié)算管理。（3）計算模塊。在這個計算模塊，物流管理采用的是Hadoop集群，這個集群是計算模塊的主要組成部分。在這個集群上，系統(tǒng)每天會對物流管理數(shù)據(jù)進行不同的MapReduce計算。利用數(shù)據(jù)挖掘、空間分析

28、、運籌等算法進行數(shù)據(jù)的分類、整合，進行可視化的處理。（4）存儲模塊。在存儲模塊，采用HBase分布式關(guān)系型數(shù)據(jù)庫的集群，是基于Hadoop HBase技術(shù)的一個NoSQL的存儲集群，其中還包括了數(shù)據(jù)交換中心和分布式文件系統(tǒng)（HDFSF）。（5）查詢模塊。在這一模塊，通過操作系統(tǒng)和數(shù)據(jù)庫進行對于經(jīng)過大數(shù)據(jù)技術(shù)處理過的數(shù)據(jù)進行查詢、分析。（三）大數(shù)據(jù)應(yīng)用于物流管理的重要意義1.降低物流成本大數(shù)據(jù)技術(shù)應(yīng)用于物流管理決策可以提高物品流通速度，降低物流成本。尤其對一些特定產(chǎn)品來說，對時間、新鮮程度的要求很高，發(fā)展現(xiàn)代物流，關(guān)鍵是能夠充分運用專業(yè)化現(xiàn)代化的運輸工具迅速及時地運往消費地，提高商品流通速度，降

29、低商品積壓在產(chǎn)地所占據(jù)的成本，同時通過大規(guī)模的作業(yè)降低作業(yè)成本，減少多次裝卸搬運所產(chǎn)生的產(chǎn)品破損，從而有效地降低物流成本。2.提升商品價值大數(shù)據(jù)技術(shù)應(yīng)用于現(xiàn)代物流管理決策可以促進專業(yè)化物流增值服務(wù)提升產(chǎn)品價值，是提高國際競爭力的需要。有些商品本身的價值不高，可以通過發(fā)展專業(yè)的第三方物流組織，為商品提供專業(yè)的物流增值服務(wù)，來發(fā)掘商品的內(nèi)在價值。現(xiàn)實中，我國不少商品不僅在質(zhì)量和外觀上缺乏競爭力，而且在流通過程中的產(chǎn)品配送和分銷能力不足，交易成本高，損耗和浪費大。大數(shù)據(jù)應(yīng)用于現(xiàn)代物流管理決策就是使商品通過低成本、高效率的物流體系送達消費者手中。此外，應(yīng)用大數(shù)據(jù)技術(shù)對現(xiàn)代農(nóng)業(yè)物流管理決策進行研究也是發(fā)

30、展物流產(chǎn)業(yè)和降低物流成本的需要，有利于大大提高企業(yè)的收入。應(yīng)用大數(shù)據(jù)技術(shù)對現(xiàn)代物流管理決策不僅可以進行集約化物流，在一定范圍內(nèi)實現(xiàn)物流合理化，從而大量節(jié)約物流費用，而且可以節(jié)約大量的社會流動資金，實現(xiàn)資金流動的合理性，既提高經(jīng)濟效益，又提高社會效益。顯然，完善和發(fā)展現(xiàn)代物流是流通國際化，縮小同發(fā)達國家之間的差距和提高我國國際競爭力的必要手段。3.做出科學決策物流管理的信息化、網(wǎng)絡(luò)化發(fā)展到一定程度就產(chǎn)生了智能化的需要，因此物流管理的智能化是物流信息化、網(wǎng)絡(luò)化的高層應(yīng)用。物流管理中，不管是管理部門還是生產(chǎn)經(jīng)營單位，不管是產(chǎn)品配送企業(yè)還是農(nóng)戶，都涉及到運籌和決策的問題，例如產(chǎn)品儲存庫存水平的確定，運

31、輸路線的選擇，產(chǎn)品配送中心的經(jīng)營管理等決策問題都需要借助大量的管理知識、經(jīng)驗和信息來解決。物流管理的智能化就需要有一系列智能的物流管理信息系統(tǒng)的支持，如物流專家系統(tǒng)、物流預(yù)測系統(tǒng)、物流配送中心管理決策系統(tǒng)等。當今的一些物流管理信息系統(tǒng)只為管理者提供普通的業(yè)務(wù)處理數(shù)據(jù)和簡單的分析數(shù)據(jù)，不具備數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的功能，不能提供立體的、多視角的、有滲透力的數(shù)據(jù)，更不能提供具有預(yù)測性的潛在的信息，不能滿足物流網(wǎng)絡(luò)中各個層次的實時需要?；诖髷?shù)據(jù)的物流管理信息系統(tǒng)可以把相應(yīng)的業(yè)務(wù)數(shù)據(jù)提取出來進行分析，分析過程可以不脫離物流企業(yè)和客戶的操作流程，時效性強，可以克服在管理決策中出現(xiàn)的大量的主觀決策，避免產(chǎn)生

32、牛鞭效應(yīng)。4.有利于物流產(chǎn)業(yè)化升級將數(shù)據(jù)挖掘應(yīng)用到物流管理決策中，不僅增強了物流系統(tǒng)的功能，可以實現(xiàn)物流結(jié)構(gòu)的調(diào)整，利于物流產(chǎn)業(yè)良性升級，減少人工投入量。而且在物流園區(qū)、物流中心的建設(shè)、庫存控制和運輸配送等方面建立起能夠有效控制的運行機制，使物流體系能夠適應(yīng)市場的變化，提高物流系統(tǒng)的效率和決策的準確性。另外企業(yè)領(lǐng)導和管理部門可以將其所掌握的信息轉(zhuǎn)化為決策的依據(jù)，提高決策能力、決策效力和決策準確性，減少決策過程中的主觀因素，克服決策中的主觀隨意性和盲目性，減少因決策失誤而造成的經(jīng)濟損失。五、總結(jié)與展望雖然在當前的相關(guān)研究文獻中，研究人員對物流管理發(fā)展中及大數(shù)據(jù)技術(shù)方面的問題作出了部分的回答，但是

33、在兩者結(jié)合的情況這方面的研究非常少，并且這方面的研究也沒有提出明確的解決方案，也正體現(xiàn)了這方面研究的不足之處。本文從物流管理的角度寫的大數(shù)據(jù)應(yīng)用方面的研究，從平面鋪展開對于物流管理方面大數(shù)據(jù)的運用，縱觀現(xiàn)代物流管理的書籍都未能從大數(shù)據(jù)的角度闡述。以至于初次接觸Hadoop與MapReduce這兩個東西，覺得它們很是神秘，而神秘的東西常能勾起我的興趣，在看過介紹它們的文章或論文之后，覺得Hadoop是一項富有趣味和挑戰(zhàn)性的技術(shù)，且它還牽扯到了一個我更加感興趣的話題：海量數(shù)據(jù)處理。后來，對于“Hadoop”，“MapReduce”“海量數(shù)據(jù)處理”這方面的論文，總是能引起我的極大興趣。但在看論文的過

34、程中，總覺得那些論文都是淺嘗輒止，常?？吹暮懿贿^癮，總是一個東西剛要講到緊要處，它便結(jié)束了，讓人好生“憤懣”。本文在現(xiàn)有的理論模型上進行了進一步的擴展，并且得出了明確的解決方案。具體來說體現(xiàn)在以下3個方面：（1）從當前電商的發(fā)展角度，得出目前物流業(yè)發(fā)展迅猛帶來的數(shù)據(jù)爆炸及大數(shù)據(jù)應(yīng)用的迫切需要。（2）利用MapReduce模型和Hadoop框架建立分離式數(shù)據(jù)庫，區(qū)別于以往的單一結(jié)構(gòu)式數(shù)據(jù)的SQL。（3）較全面的利用大數(shù)據(jù)技術(shù)把物流各個環(huán)節(jié)連接起來，不在是各個部門分離，利于企業(yè)間協(xié)調(diào)合作。盡管我對這個Hadoop與MapReduce知之甚淺，但是我想拋磚引玉，引起人們對于這方面的興趣，介紹物流管理

35、方面大數(shù)據(jù)應(yīng)用的入門，及其基本現(xiàn)狀問題，提出一些自己的看法。由于物流管理是個無窮的海洋，本文作者水平有限，很多方面沒有面面俱到，有些數(shù)據(jù)在現(xiàn)如今發(fā)展迅速的世界里，在現(xiàn)實中已經(jīng)淘汰。在管理系統(tǒng)方面的劃分不夠嚴謹和全面。隨著物流企業(yè)應(yīng)用大數(shù)據(jù)的逐漸深入，未來物流企業(yè)將獲取海量的企業(yè)內(nèi)外部數(shù)據(jù)，而通過對這些數(shù)據(jù)的收集、存儲、處理和分析，物流企業(yè)將更加了解行業(yè)發(fā)展趨勢和自身經(jīng)營現(xiàn)狀，也更加了解客戶，甚至可以做到為每一個客戶量身定制個性化需求的產(chǎn)品和服務(wù)，從而顛覆整個物流商業(yè)模式。正如大數(shù)據(jù)時代所言，“人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻之一”。大數(shù)據(jù)賦予我們洞察未來的能力 ，物流企業(yè)必須學會利用“大數(shù)據(jù)”，分析數(shù)據(jù)背后隱藏的規(guī)律，查找新的利潤源和增長點，提高企業(yè)運營和管理的效率，帶來業(yè)務(wù)和服務(wù)的增長和發(fā)展，幫助尋找“藍海”領(lǐng)域和新的商業(yè)模式，促進企業(yè)發(fā)展壯大和可持續(xù)成長。由于時間精力、所收集的資料及其個人能力所限，本文只是對大數(shù)據(jù)技術(shù)的初