10數據處理與數據建模方法

1、2022/8/242011年暑假培訓121世紀的社會是信息社會，其影響最終將要比十九世紀由農業(yè)社會轉向工業(yè)社會更加深刻?！耙粋€國家總的信息流的平均增長與工業(yè)潛力的平方成正比”。信息資源與自然資源和物質資源被稱為人類生存與發(fā)展的三大資源。 數據處理與數據建模方法2022/8/242011年暑假培訓2 實際中大量信息或海量信息對應著大量的數據或海量數據，從這些數據中尋求所需要的問題答案-數據建模問題。 通過實際對象過去或當前的相關信息，研究兩個方面問題： （1）分析研究實際對象所處的狀態(tài)和特征，依此做出評價和決策； （2）分析預測實際對象未來的變化狀況和趨勢，為科學決策提供依據。 數據處理與數據建

2、模方法2022/8/242011年暑假培訓3 數據處理與數據建模方法 1. 數據建模的一般問題 2. 數據處理的一般方法 3. 數據建模的綜合評價方法 4. 數據建模的動態(tài)加權方法 . 數據建模的綜合排序方法 . 數據建模的預測方法 2022/8/242011年暑假培訓4實際對象都客觀存在著一些反映其特征的相關數據信息；如何綜合利用這些數據信息對實際對象的現狀做出綜合評價，或預測未來的發(fā)展趨勢，制定科學的決策方案？-數據建模的綜合評價、綜合排序、預測與決策等問題。 數據建模一般問題的提出： 一、數據建模的一般問題一般2022/8/242011年暑假培訓5綜合評價是科學、合理決策的前提。綜合評價

3、的基礎是信息的綜合利用。綜合評價的過程是數據建模的過程。數據建模的基礎是數據的標準化處理。 一、數據建模的一般問題如何構成一個綜合評價問題呢？2022/8/242011年暑假培訓6 依據相關信息對實際對象所進行的客觀、公正、合理的全面評價。 如果把被評價對象視為系統，則問題： 在若干個(同類)系統中，如何確定哪個系統的運行(或發(fā)展)狀況好，哪個狀況差？即哪個優(yōu)，哪個劣？ 一類多屬性(指標)的綜合評價問題。綜合評價： 一、數據建模的一般問題2022/8/242011年暑假培訓7綜合評價問題的五個要素 （1）被評價對象:被評價者，統稱為評價系統。 （2）評價指標：反映被評價對象的基本要素，一起構成

4、評價指標體系。原則:系統性、科學性、可比性、可測性和獨立性。（3）權重系數：反映各指標之間影響程度大小的度量。 （4）綜合評價模型：將評價指標與權重系數綜合成一個整體指標的模型。 （5）評價者：直接參與評價的人。2022/8/242011年暑假培訓8綜合評價過程的流程2022/8/242011年暑假培訓9 二、數據處理的一般方法 1. 數據類型的一致化處理方法 極大型:期望取值越大越好； 極小型:期望取值越小越好； 中間型:期望取值為適當的中間值最好; 區(qū)間型:期望取值落在某一個確定的區(qū)間 內為最好。 什么是一致化處理?為什么要一致化?2022/8/242011年暑假培訓10 二、數據處理的一

5、般方法 1. 數據類型的一致化處理方法 2022/8/242011年暑假培訓11 二、數據處理的一般方法 1. 數據類型的一致化處理方法 2022/8/242011年暑假培訓12 2. 數據指標的無量綱化處理方法 (3)功效系數法： 二、數據處理的一般方法(1)標準差法：(2)極值差法：2022/8/242011年暑假培訓13 二、數據處理的一般方法 3. 模糊指標的量化處理方法 在實際中，很多問題都涉及到定性，或模糊指標的定量處理問題。 諸如:教學質量、科研水平、工作政績、人員素質、各種滿意度、信譽、態(tài)度、意識、觀念、能力等因素有關的政治、社會、人文等領域的問題。 如何對有關問題給出定量分析

6、呢？2022/8/242011年暑假培訓14按國家的評價標準,評價因素一般分為五個等級，如A，B，C，D，E。 如何將其量化？若A-，B+，C-，D+等又如何合理量化？ 根據實際問題，構造模糊隸屬函數的量化方法是一種可行有效的方法。 二、數據處理的一般方法 3. 定性指標的量化處理方法 2022/8/242011年暑假培訓15假設有多個評價人對某項因素評價為A，B，C，D,E共5個等級: v1 ,v2 ,v3 ,v4,v5。 譬如：評價人對某事件“滿意度”的評價可分為很滿意，滿意，較滿意，不太滿意，很不滿意將其5個等級依次對應為5，4，3，2，1。 這里為連續(xù)量化，取偏大型柯西分布和對數函數作

7、為隸屬函數： 二、數據處理的一般方法2022/8/242011年暑假培訓16 二、數據處理的一般方法 3. 定性指標的量化處理方法 2022/8/242011年暑假培訓17 二、數據處理的一般方法 3. 定性指標的量化處理方法 根據這個規(guī)律，對于任何一個評價值，都可給出一個合適的量化值。 據實際情況可構造其他的隸屬函數。如取偏大型正態(tài)分布。2022/8/242011年暑假培訓18 模糊定性指標量化的應用案例（1）CUMCM2003-A,C:SARS的傳播問題（2）CUMCM2004-D:公務員招聘問題；（3）CUMCM2005-B:DVD租賃問題；（4）CUMCM2008-B:高教學費標準探討

8、問題；（5）CUMCM2008-D:NBA賽程的分析與評價問題；（6）CUMCM2009-D:會議籌備問題。2022/8/242011年暑假培訓19 三、數據建模的綜合評價方法 適用條件:各評價指標之間相互獨立。 對不完全獨立的情況，其結果將導致各指標間信息的重復，使評價結果不能客觀地反映實際。 1. 線性加權綜合法 主要特點： （1）各評價指標間作用得到線性補償； （2）權重系數的對評價結果的影響明顯。2022/8/242011年暑假培訓20 2. 非線性加權綜合法 三、數據建模的綜合評價方法主要特點：（1）突出了各指標值的一致性，即平衡評價指標值較小的指標影響的作用；（2）權重系數大小的影

9、響不是特別明顯，而對指標值的大小差異相對較敏感。2022/8/242011年暑假培訓21 三、數據建模的綜合評價方法 3. 逼近理想點（TOPSIS）方法 2022/8/242011年暑假培訓22 三、數據建模的綜合評價方法 3. 逼近理想點（TOPSIS）方法 2022/8/242011年暑假培訓23返回 三、數據建模的綜合評價方法 3. 逼近理想點（TOPSIS）方法 2022/8/242011年暑假培訓24 綜合評價方法的應用案例（1）CUMCM1993-B:足球隊排名問題；（2）CUMCM2001-B:公交車調度問題；（3）CUMCM2002-B:彩票中的數學問題；（4）CUMCM20

10、04-D:公務員招聘問題；（5）CUMCM2005-A:長江水質的評價和預測問題；（6）CUMCM2005-C:雨量預報方法評價問題；（7）CUMCM2006-B:艾滋病療法評價與預測問題；（8）CUMCM2007-C:手機“套餐”優(yōu)惠幾何問題；（9）CUMCM2008-B:高教學費標準探討問題；（10）CUMCM2008-D:NBA賽程的分析與評價問題；（11）CUMCM2009-D:會議籌備問題。2022/8/242011年暑假培訓25 四、數據建模的動態(tài)加權綜合評價方法 1. 動態(tài)加權問題的一般提法 問題:如何對n個系統做出綜合評價呢?2022/8/242011年暑假培訓26 四、數據建

11、模的動態(tài)加權方法 注意: 問題對于每一個屬性而言，既有不同類別的差異，同類別的又有不同量值的差異。 對于既有“質差”，又有“量差”的問題，合理有效的方法是動態(tài)加權綜合評價方法。 1. 動態(tài)加權問題的一般提法 2022/8/242011年暑假培訓27 四、數據建模的動態(tài)加權方法2. 動態(tài)加權函數的設定 2022/8/242011年暑假培訓28 四、數據建模的動態(tài)加權方法2. 動態(tài)加權函數的設定 2022/8/242011年暑假培訓29返回 四、數據建模的動態(tài)加權方法2. 動態(tài)加權函數的設定 2022/8/242011年暑假培訓30 四、數據建模的動態(tài)加權方法3. 動態(tài)加權的綜合評價模型 2022

12、/8/242011年暑假培訓31 五、數據建模的綜合排序方法 1. 綜合排序問題的一般提法 問題:如何給出n個系統的最終排序結果呢?2022/8/242011年暑假培訓32 五、數據建模的綜合排序方法 2. 綜合排序問題的方法 2022/8/242011年暑假培訓33 動態(tài)加權與綜合排序的應用案例動態(tài)加權的綜合排序案例：（1）CUMCM2002-B:彩票中的數學問題；（2）CUMCM2005-A:長江水質的評價和預測問題；綜合評價的排序案例：（1）CUMCM1993-B:足球隊排名問題；（2）CUMCM2008-D:NBA賽程的分析與評價問題；（3）CUMCM2009-D:會議籌備問題。202

13、2/8/242011年暑假培訓34 六、數據建模的常用預測方法1.插值與擬合方法：小樣本內部預測；應用案例：（1）CUMCM2001-A:血管的三維重建問題；（2）CUMCM2003-A,C:SARS的傳播問題；（3）CUMCM2004-C:飲酒駕車問題；（4） CUMCM2005-A:長江水質的評價與預測；（5） CUMCM2005-D:雨量預報方法的評價；（6） CUMCM2006-B:艾滋病療法的評價與預測。2022/8/242011年暑假培訓35 六、數據建模的常用預測方法2.回歸模型方法：大樣本的內部預測；應用案例：（1）CUMCM2004-A:奧運臨時超市網點設計；（2）CUMCM2004-B:電力市場的輸電阻塞管理；（3）CUMCM2005-A:長江水質的評價與預測；（4）CUMCM2006-B:艾滋病療法的評價與預測；（5）CUMCM2008-B:高教學費標準探討問題。2022/8/242011年暑假培訓36 六、數據建模的常用預測方法3.灰預測GM(1,1)：小樣本的未來預測；（1）CUMCM2003