大數(shù)據(jù)分析建模及其應(yīng)用建議

1、導(dǎo)讀：在數(shù)字經(jīng)濟(jì)時(shí)代，互聯(lián)網(wǎng)、智能設(shè)備和其他形式的信息技術(shù)的爆炸性增長使得數(shù)據(jù)以同樣令人印象深刻 的速度增長，企業(yè)經(jīng)營的各個(gè)階段都可以被記錄下來，產(chǎn)品銷售的各個(gè)環(huán)節(jié)也被記錄下來，客戶的消費(fèi)行為和 網(wǎng)上行為都被采集下來。數(shù)據(jù)已成為一種重要的生產(chǎn)要素，通過對(duì)數(shù)據(jù)的收集、存儲(chǔ)、再組織和分析建模，隱 藏在數(shù)據(jù)中的重要價(jià)值及規(guī)律逐漸展現(xiàn)出來，正成為企業(yè)轉(zhuǎn)型升級(jí)及可持續(xù)發(fā)展的重要推動(dòng)力量。大數(shù)據(jù)分析 建模是大數(shù)據(jù)應(yīng)用的核心和重要基礎(chǔ)，己成為科技界和企業(yè)界關(guān)注的熱點(diǎn)話題。I大數(shù)據(jù)分析建模的背景隨著企業(yè)信息化的逐步深入，大量信息系統(tǒng)在企業(yè)中廣泛應(yīng)用，物聯(lián)網(wǎng)、云計(jì)算、工業(yè)互聯(lián)網(wǎng)等技術(shù)與企業(yè)經(jīng) 營生產(chǎn)緊密結(jié)合，設(shè)

2、備運(yùn)行、生產(chǎn)加工、測(cè)試試驗(yàn)等數(shù)據(jù)采集過程更加自動(dòng)化，企業(yè)積累了大量的數(shù)據(jù)，包括 產(chǎn)品銷售數(shù)據(jù)、客戶消費(fèi)數(shù)據(jù)、客戶行為數(shù)據(jù)、企業(yè)運(yùn)營數(shù)據(jù)等，企業(yè)經(jīng)營生產(chǎn)的各個(gè)階段都可以被記錄下 來，產(chǎn)品銷售的各個(gè)環(huán)節(jié)也被記錄下來，客戶的消費(fèi)行為和網(wǎng)上行為都被采集下來，這些數(shù)據(jù)隱藏著大量的有 價(jià)值的規(guī)律和信息，是企業(yè)的重要資產(chǎn)。另一方面，傳統(tǒng)的數(shù)據(jù)報(bào)表、即席查詢等簡(jiǎn)單分析手段已無法滿足企業(yè)對(duì)于深層次信息的挖掘需求，大數(shù)據(jù)融 合、大數(shù)據(jù)分析、大數(shù)據(jù)挖掘等技術(shù)不斷發(fā)展，漏斗分析、事件分析、行為分析、留存分析、屬性分析等模型 不斷完善，神經(jīng)網(wǎng)絡(luò)、決策樹、關(guān)聯(lián)規(guī)則等挖掘算法不斷成熟，基于Hadoop、HDFS的分布式存儲(chǔ)

3、技術(shù)以及基 于Storm、Spark、MapReduce等分布式計(jì)算技術(shù)迅猛發(fā)展，為大數(shù)據(jù)分析處理及分析建模提供了堅(jiān)實(shí)的技術(shù) 支撐。大數(shù)據(jù)分析建模步驟企業(yè)開展大數(shù)據(jù)分析，首先應(yīng)開展業(yè)務(wù)調(diào)研和數(shù)據(jù)調(diào)研工作，明確分析需求，其次應(yīng)開展數(shù)據(jù)準(zhǔn)備工作，即選 擇數(shù)據(jù)源、進(jìn)行數(shù)據(jù)抽樣選擇、數(shù)據(jù)類型選擇、缺失值處理、異常值檢測(cè)和處理、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)簇分類、 變量選擇等，再次應(yīng)進(jìn)行數(shù)據(jù)處理工作，即進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換等工作，最后開展數(shù)據(jù)分析建 模及展現(xiàn)工作。大數(shù)據(jù)分析建模需要進(jìn)行5個(gè)步驟，即選擇模型、訓(xùn)練模型、評(píng)估模型、應(yīng)用模型、優(yōu)化模型 結(jié)構(gòu)。1I選擇分析模型基于收集到的業(yè)務(wù)需求、數(shù)據(jù)需求等信息

4、，研究決定選擇具體的模型，如行為事件分析、漏斗分析、留存分 析、分布分析、點(diǎn)擊分析、用戶行為分析、分群分析、屬性分析等模型，以便更好地切合具體的應(yīng)用場(chǎng)景和分 析需求。1訓(xùn)練分析模型每個(gè)數(shù)據(jù)分析模型的模式基本是固定的，但其中存在一些不確定的參數(shù)變量或要素在里面，通過其中的變量或 要素適應(yīng)變化多端的應(yīng)用需求，這樣模型才會(huì)有通用性。企業(yè)需要通過訓(xùn)練模型找到最合適的參數(shù)或變量要 素，并基于真實(shí)的業(yè)務(wù)數(shù)據(jù)來確定最合適的模型參數(shù)。1評(píng)估分析模型需要將具體的數(shù)據(jù)分析模型放在其特定的業(yè)務(wù)應(yīng)用場(chǎng)景下（如物資采購、產(chǎn)品銷售、生產(chǎn)制造等）對(duì)數(shù)據(jù)分析 模型進(jìn)行評(píng)估，評(píng)價(jià)模型質(zhì)量的常用指標(biāo)包括平均誤差率、判定系數(shù)，評(píng)估

5、分類預(yù)測(cè)模型質(zhì)量的常用指標(biāo)包括 正確率、查全率、查準(zhǔn)率、ROC曲線和AUC值等。|應(yīng)用分析模型對(duì)數(shù)據(jù)分析模型評(píng)估測(cè)量完成后，需要將此模型應(yīng)用于業(yè)務(wù)基礎(chǔ)的實(shí)踐中去，從分布式數(shù)據(jù)倉庫中加載主數(shù) 據(jù)、主題數(shù)據(jù)等，通過數(shù)據(jù)展現(xiàn)等方式將各類結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中隱含的信息顯示出來，用于解決工作中 的業(yè)務(wù)問題的，比如預(yù)測(cè)客戶行為、科學(xué)劃分客戶群等。|優(yōu)化分析模型企業(yè)在評(píng)估數(shù)據(jù)分析模型中，如果發(fā)現(xiàn)模型欠擬合或過擬合，說明這個(gè)模型有待優(yōu)化；在真實(shí)應(yīng)用場(chǎng)景中，定 期進(jìn)行優(yōu)化，或者當(dāng)發(fā)現(xiàn)模型在真實(shí)的業(yè)務(wù)場(chǎng)景中效果不好時(shí)，也要啟動(dòng)優(yōu)化，具體優(yōu)化的措施可考慮重新選 擇模型、調(diào)整模型參數(shù)、增加變量因子等。I大數(shù)據(jù)分析建

6、模建議數(shù)據(jù)分析建模是企業(yè)大數(shù)據(jù)應(yīng)用的重要基礎(chǔ)，通過建模不僅有效地組織了原始數(shù)據(jù)，而且為數(shù)據(jù)展現(xiàn)提供了重 要支撐，企業(yè)在開展數(shù)據(jù)分析建模過程中應(yīng)注意以下幾點(diǎn)：1重視需求牽引作用，深化業(yè)務(wù)問題解決企業(yè)應(yīng)結(jié)合業(yè)務(wù)發(fā)展目標(biāo)，梳理經(jīng)營生產(chǎn)過程中的瓶頸問題，以問題為導(dǎo)向，重視業(yè)務(wù)需求調(diào)研工作，清理業(yè) 務(wù)流程和業(yè)務(wù)數(shù)據(jù)，研究數(shù)據(jù)來源、采集通道和映射關(guān)系，深入梳理數(shù)據(jù)基礎(chǔ)，不斷推進(jìn)業(yè)務(wù)問題的解決并構(gòu) 建合理的業(yè)務(wù)架構(gòu)。2 |加大數(shù)據(jù)積累力度，夯實(shí)數(shù)據(jù)體系基礎(chǔ)企業(yè)應(yīng)深化信息系統(tǒng)應(yīng)用，提升業(yè)務(wù)流程和業(yè)務(wù)數(shù)據(jù)上線力度，深 化物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)應(yīng)用，提高數(shù)據(jù)采集效率，豐富數(shù)據(jù)積累力度；完善主數(shù)據(jù)、主題數(shù)據(jù)、數(shù)據(jù)建 模等標(biāo)準(zhǔn)規(guī)范，構(gòu)建包含業(yè)務(wù)、指標(biāo)、報(bào)表等的數(shù)據(jù)體系，夯實(shí)數(shù)據(jù)體系基礎(chǔ)。3加大人員隊(duì)伍建設(shè)，提高技術(shù)支撐能力企業(yè)應(yīng)加大技術(shù)專家、業(yè)務(wù)專家、數(shù)據(jù)分析師、數(shù)據(jù)管理員、運(yùn)營專家等專業(yè)人員的培養(yǎng)，調(diào)動(dòng)業(yè)務(wù)部門參與 數(shù)據(jù)分析的積極性和主動(dòng)性。同時(shí)加大數(shù)據(jù)分析、數(shù)據(jù)建模、數(shù)據(jù)挖掘技術(shù)儲(chǔ)備、技術(shù)工具庫和模型庫建設(shè)， 提高技術(shù)支撐能力。結(jié)語大數(shù)據(jù)分析建模是數(shù)據(jù)到信