版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
大數(shù)據(jù)建模概述演講人:通用名大數(shù)據(jù)建模應(yīng)遵循的規(guī)律以業(yè)務(wù)目標(biāo)作為實現(xiàn)目標(biāo)業(yè)務(wù)知識是每一步的核心做好數(shù)據(jù)預(yù)處理試驗對尋找解決方案是必要的數(shù)據(jù)中總含有模式數(shù)據(jù)挖掘增大對業(yè)務(wù)的認(rèn)識與猜測提高了信息作用能力大數(shù)據(jù)建模的價值不在于預(yù)測的準(zhǔn)確率模式因業(yè)務(wù)變化而變化大數(shù)據(jù)建模技術(shù),是為了解決業(yè)務(wù)流程問題。數(shù)據(jù)建模的核心:業(yè)務(wù)目標(biāo)。我們要什么樣的數(shù)據(jù)挖掘模型業(yè)務(wù)調(diào)研
問題定位
可解釋、有實際業(yè)務(wù)涵義、可使用的
制定目標(biāo)
①以業(yè)務(wù)目標(biāo)作為實現(xiàn)目標(biāo)
→↓↓←②業(yè)務(wù)知識是每一步的核心
業(yè)務(wù)知識是理解問題的基礎(chǔ)。例如大數(shù)據(jù)分析“飲食與疾病的關(guān)系”“糖尿病與高血壓發(fā)病關(guān)系”,這些分析都需要對醫(yī)學(xué)相關(guān)知識有一定了解才能建模。數(shù)據(jù)分布數(shù)據(jù)質(zhì)量指標(biāo)選擇衍生指標(biāo)→→→③做好數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理比數(shù)據(jù)挖掘其他任何一個過程都重要且費力,數(shù)據(jù)預(yù)處理的目的是把數(shù)據(jù)挖掘問題轉(zhuǎn)化為格式化的數(shù)據(jù),使得分析技術(shù)更容易利用它。數(shù)據(jù)預(yù)處理兩種方法
第一種方法是將數(shù)據(jù)轉(zhuǎn)化為可以分析的完全格式化的數(shù)據(jù),比如,大多數(shù)數(shù)據(jù)挖掘算法需要單一表格形式的數(shù)據(jù),一個記錄就是一個樣例。數(shù)據(jù)挖掘者都知道什么樣的算法需要什么樣的數(shù)據(jù)形式,因此可以將數(shù)據(jù)轉(zhuǎn)化為一個合適的格式。第二種方法是使得數(shù)據(jù)能夠含有業(yè)務(wù)問題的更多的信息,通過這些領(lǐng)域的知識,數(shù)據(jù)挖掘者可能可以找到一個合適的技術(shù)解決方案。數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)審核數(shù)據(jù)集成→→→④試驗對尋找解決方案是必要的
挖掘過程中往往通過算法和業(yè)務(wù)知識結(jié)合進(jìn)行多次試驗,才能揭示數(shù)據(jù)隱藏的規(guī)則。了解業(yè)務(wù)知識對模式有更好的理解,模式也對業(yè)務(wù)知識有貢獻(xiàn)。模型初步構(gòu)建模型優(yōu)化模型帶動業(yè)務(wù)業(yè)務(wù)帶動模型→→→⑤數(shù)據(jù)中總含有模式
在一個與業(yè)務(wù)相關(guān)的數(shù)據(jù)集中,即使一些期望的模式不能被發(fā)現(xiàn),但其他的一些有用的東西可能會被發(fā)現(xiàn)。一些數(shù)據(jù)挖掘項目失敗是因為開始的數(shù)據(jù)采集存在問題。⑥數(shù)據(jù)挖掘增大對業(yè)務(wù)的認(rèn)識
為什么數(shù)據(jù)挖掘必須是一個業(yè)務(wù)過程而不是一個技術(shù)過程?
業(yè)務(wù)問題是由人而非算法解決的。
數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認(rèn)識到的,幫助業(yè)務(wù)專家解決他們不能單獨完成的業(yè)務(wù)問題。如:通過大數(shù)據(jù)分析幫學(xué)校找到學(xué)生學(xué)習(xí)困難的原因。⑦與猜測提高了信息作用能力
數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認(rèn)識到的。聚類和關(guān)聯(lián)模型也有預(yù)測特征。聚類:預(yù)測一個個體屬于哪個群體。eg:預(yù)測個別交易是否為欺詐。關(guān)聯(lián):基于已知基本屬性預(yù)測更多屬性。eg:預(yù)測客戶行為。⑧大數(shù)據(jù)建模的價值不在于預(yù)測的準(zhǔn)確率
準(zhǔn)確性和穩(wěn)定性是預(yù)測模型常用的兩個度量。準(zhǔn)確性是指正確的預(yù)測結(jié)果所占的比例;穩(wěn)定性是指當(dāng)創(chuàng)建模型的數(shù)據(jù)改變時,其預(yù)測結(jié)果變化有多大。一個好的大數(shù)據(jù)是為了改變企業(yè)的行為以及預(yù)測的結(jié)果來改善企業(yè)的行為,會不會適應(yīng)業(yè)務(wù)發(fā)展需要才是它的衡量標(biāo)準(zhǔn)。⑨模式因業(yè)務(wù)變化而變化
模式的變化
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024蘋果產(chǎn)業(yè)鏈金融風(fēng)險防控合作協(xié)議3篇
- 2025年度林地林木種植與生態(tài)修復(fù)合同2篇
- 2024食堂食材的采購合同協(xié)議
- 2025賓館客房銷售數(shù)據(jù)共享與處理合同模板3篇
- 2025年度特色美食研發(fā)與酒店合作合同3篇
- 2025年度豬欄工程總承包及生態(tài)環(huán)保合同4篇
- 2025年度智能家居與安防系統(tǒng)一體化合同2篇
- 2025年4-甲基咪唑項目可行性研究報告
- 2025個人收藏品交易合同參考樣本4篇
- PEP小學(xué)六年級英語上冊選詞填空專題訓(xùn)練
- 古建筑修繕項目施工規(guī)程(試行)
- GA 844-2018防砸透明材料
- 化學(xué)元素周期表記憶與讀音 元素周期表口訣順口溜
- 非人力資源經(jīng)理的人力資源管理培訓(xùn)(新版)課件
- MSDS物質(zhì)安全技術(shù)資料-201膠水
- 鉬氧化物還原過程中的物相轉(zhuǎn)變規(guī)律及其動力學(xué)機(jī)理研究
- (完整word)2019注冊消防工程師繼續(xù)教育三科試習(xí)題及答案
- 《調(diào)試件現(xiàn)場管理制度》
- 社區(qū)治理現(xiàn)代化課件
- 代持房屋協(xié)議書
評論
0/150
提交評論