數(shù)據(jù)處理方法

-.z.回歸問(wèn)題和一些機(jī)器學(xué)習(xí)算法中，以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中，通常需要對(duì)原始數(shù)據(jù)進(jìn)展中心化〔Zero-centered或者M(jìn)ean-subtraction〕處理和標(biāo)準(zhǔn)化〔Standardization或Normalization〕處理。目的：通過(guò)中心化和標(biāo)準(zhǔn)化處理，得到均值為0，標(biāo)準(zhǔn)差為1的服從標(biāo)準(zhǔn)正態(tài)布的數(shù)據(jù)。計(jì)算過(guò)程由下式表示：下面解釋一下為什么需要使用這些數(shù)據(jù)預(yù)處理步驟。在一些實(shí)際問(wèn)題中，我們得到的樣本數(shù)據(jù)都是多個(gè)維度的，即一個(gè)樣本是用多個(gè)特征來(lái)表征的。比方在預(yù)測(cè)房?jī)r(jià)的問(wèn)題中，影響房?jī)r(jià)的因素有房子面積、臥室數(shù)量等，我們得到的樣本數(shù)據(jù)就是這樣一些樣本點(diǎn)，這里的、又被稱為特征。很顯然，這些特征的量綱和數(shù)值得量級(jí)都是不一樣的，在預(yù)測(cè)房?jī)r(jià)時(shí)，如果直接使用原始的數(shù)據(jù)值，則他們對(duì)房?jī)r(jià)的影響程度將是不一樣的，而通過(guò)標(biāo)準(zhǔn)化處理，可以使得不同的特征具有一樣的尺度〔Scale〕。這樣，在使用梯度下降法學(xué)習(xí)參數(shù)的時(shí)候，不同特征對(duì)參數(shù)的影響程度就一樣了。簡(jiǎn)言之，當(dāng)原始數(shù)據(jù)不同維度上的特征的尺度〔單位〕不一致時(shí)，需要標(biāo)準(zhǔn)化步驟對(duì)數(shù)據(jù)進(jìn)展預(yù)處理。以下圖中以二維數(shù)據(jù)為例：左圖表示的是原始數(shù)據(jù)；中間的是中心化后的數(shù)據(jù)，數(shù)據(jù)被移動(dòng)大原點(diǎn)周圍；右圖將中心化后的數(shù)據(jù)除以標(biāo)準(zhǔn)差，得到為標(biāo)準(zhǔn)化的數(shù)據(jù)，可以看出每個(gè)維度上的尺度是一致的〔紅色線段的長(zhǎng)度表示尺度〕。

其實(shí)，在不同的問(wèn)題中，中心化和標(biāo)準(zhǔn)化有著不同的意義，比方在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中，通過(guò)將數(shù)據(jù)標(biāo)準(zhǔn)化，能夠加速權(quán)重參數(shù)的收斂。另外，對(duì)于主成分分析〔PCA〕問(wèn)題，也需要對(duì)數(shù)據(jù)進(jìn)展中心化和標(biāo)準(zhǔn)化等預(yù)處理步驟二、利用E*cel對(duì)數(shù)據(jù)進(jìn)展標(biāo)準(zhǔn)化處理在使用各種方法進(jìn)展綜合評(píng)價(jià)時(shí)，首先要對(duì)原始數(shù)據(jù)進(jìn)展標(biāo)準(zhǔn)化和無(wú)量綱化處理，本例分享利用office的E*cel對(duì)數(shù)據(jù)進(jìn)展標(biāo)準(zhǔn)化處理，使用的是極值處理法。1.該種方法的算法即標(biāo)準(zhǔn)化公式如附圖所示，注：對(duì)于指標(biāo)值恒定的情況不適用。這里以我國(guó)2007年中部地區(qū)6省的稅收數(shù)據(jù)為例進(jìn)展計(jì)算。易知，附圖中的稅收指標(biāo)為極大型數(shù)據(jù)。所以采用的公式為*=〔*-min〕/(Ma*-min),這樣標(biāo)準(zhǔn)化后的數(shù)據(jù)最大值為1，最小值為0使用Ma*，Min函數(shù)分別求出數(shù)據(jù)矩陣中每列中的最大值和最小值。

Ma*

146.1136

184.2366

102.9228

30.2578

25.8857

42.8733

15.656

7.8004

18.2303

14.9975

1.9689

17.1054

35.0698

3.3696

Min

53.0534

95.0788

37.8106

14.8271

2.8286

17.0098

5.7824

3.1799

4.1246

1.1311

0.3081

1.7933

5.5753

0.0874再求出極值處理法的分母即最大值與最小值的差值

ma*-min

93.0602

89.1578

65.1122

15.4307

23.0571

25.8635

9.8736

4.6205

14.1057

13.8664

1.6608

15.3121

29.4945

3.2822使用每列中的數(shù)值與最小值的差比上分母即可求出標(biāo)準(zhǔn)化后的數(shù)據(jù)。公式舉例：值=(B6-$B$13)/$B$14。如附圖所示為使用極值處理法后的前后數(shù)據(jù)比照。一、熵shang權(quán)法介紹熵最先由申農(nóng)引入信息論，目前已經(jīng)在工程技術(shù)、社會(huì)經(jīng)濟(jì)等領(lǐng)域得到了非常廣泛的應(yīng)用。熵權(quán)法的根本思路是根據(jù)指標(biāo)變異性的大小來(lái)確定客觀權(quán)重。一般來(lái)說(shuō)，假設(shè)*個(gè)指標(biāo)的信息熵越小，說(shuō)明指標(biāo)值得變異程度越大，提供的信息量越多，在綜合評(píng)價(jià)中所能起到的作用也越大，其權(quán)重也就越大。相反，*個(gè)指標(biāo)的信息熵越大，說(shuō)明指標(biāo)值得變異程度越小，提供的信息量也越少，在綜合評(píng)價(jià)中所起到的作用也越小，其權(quán)重也就越小。二、熵權(quán)法賦權(quán)步驟1.數(shù)據(jù)標(biāo)準(zhǔn)化將各個(gè)指標(biāo)的數(shù)據(jù)進(jìn)展標(biāo)準(zhǔn)化處理。假設(shè)給定了k個(gè)指標(biāo)，其中。假設(shè)對(duì)各指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化后的值為，則。2.求各指標(biāo)的信息熵根據(jù)信息論**息熵的定義，一組數(shù)據(jù)的信息熵。其中，如果，則定義。3.確定各指標(biāo)權(quán)重根據(jù)信息熵的計(jì)算公式，計(jì)算出各個(gè)指標(biāo)的信息熵為。通過(guò)信息熵計(jì)算各指標(biāo)的權(quán)重：。三、熵權(quán)法賦權(quán)實(shí)例1.背景介紹*醫(yī)院為了提高自身的護(hù)理水平，對(duì)擁有的11個(gè)科室進(jìn)展了考核，考核標(biāo)準(zhǔn)包括9項(xiàng)整體護(hù)理，并對(duì)護(hù)理水平較好的科室進(jìn)展獎(jiǎng)勵(lì)。下表是對(duì)各個(gè)科室指標(biāo)考核后的評(píng)分結(jié)果。但是由于各項(xiàng)護(hù)理的難易程度不同，因此需要對(duì)9項(xiàng)護(hù)理進(jìn)展賦權(quán)，以便能夠更加合理的對(duì)各個(gè)科室的護(hù)理水平進(jìn)展評(píng)價(jià)。2.熵權(quán)法進(jìn)展賦權(quán)

1〕數(shù)據(jù)標(biāo)準(zhǔn)化根據(jù)原始評(píng)分表，對(duì)數(shù)據(jù)進(jìn)展標(biāo)準(zhǔn)化后可以得到以下數(shù)據(jù)標(biāo)準(zhǔn)化表表2

11個(gè)科室9項(xiàng)整體護(hù)理評(píng)價(jià)指標(biāo)得分表標(biāo)準(zhǔn)化表科室*1*2*3*4*5*6*7*8*9A1.000.001.000.000.501.001.001.001.00B1.001.000.001.000.501.001.001.001.00C0.001.000.331.000.501.001.001.001.00D1.001.000.001.000.501.000.871.001.00E1.000.001.001.001.000.001.001.000.00F1.001.001.001.000.501.001.000.001.00G1.001.000.001.000.501.000.001.001.00H0.501.000.331.001.001.001.001.001.00I1.001.000.671.000.001.001.001.001.00J1.000.001.001.001.001.001.001.001.00K1.001.000.671.000.501.001.001.001.00

2〕求各指標(biāo)的信息熵根據(jù)信息熵的計(jì)算公式，可以計(jì)算出9項(xiàng)護(hù)理指標(biāo)各自的信息熵如下：表3

9項(xiàng)指標(biāo)信息熵表

*1*2*3*4*5*6*7*8*9信息熵0.950.870.840.960.940.960.960.960.96

3〕計(jì)算各指標(biāo)的權(quán)重根據(jù)指標(biāo)權(quán)重的計(jì)算公式，可以得到各個(gè)指標(biāo)的權(quán)重如下表所示：表4

9項(xiàng)指標(biāo)權(quán)重表

W1W2W3W4W5W6W7W8W9權(quán)重0.080.220.270.070.110.070.070.070.073.對(duì)各個(gè)科室進(jìn)展評(píng)分根據(jù)計(jì)算出的指標(biāo)權(quán)重，以及對(duì)11個(gè)科室9項(xiàng)護(hù)理水平的評(píng)分。設(shè)Zl為第l個(gè)科室的最終得分，則，各個(gè)科室最終得分如下表所示表5

11個(gè)科室最終得分表科室ABCDEFGHIJK得分95.7193.1493.1792.7795.8498.0190.2195.1795.9797.8197.02指標(biāo)體系的類型及構(gòu)建原則：

1．指標(biāo)體系的類型

傳媒競(jìng)爭(zhēng)力的評(píng)價(jià)指標(biāo)，是用來(lái)評(píng)價(jià)傳媒在實(shí)現(xiàn)一定目標(biāo)〔中長(zhǎng)期或短期〕過(guò)程中擁有的競(jìng)爭(zhēng)優(yōu)勢(shì)所采用的標(biāo)準(zhǔn)和尺度。指標(biāo)體系是一系列指標(biāo)的構(gòu)成體，這些指標(biāo)之間存在有機(jī)的聯(lián)系并相互作用，指標(biāo)體系通過(guò)提醒這種聯(lián)系和相互作用的規(guī)律來(lái)反映傳媒競(jìng)爭(zhēng)力系統(tǒng)的構(gòu)造狀況，考察系統(tǒng)構(gòu)造的穩(wěn)定性和應(yīng)變能力，辨明系統(tǒng)功能和效益的演變動(dòng)向和開(kāi)展趨勢(shì)，最終到達(dá)對(duì)傳媒競(jìng)爭(zhēng)力系統(tǒng)進(jìn)展有效控制的目的。

依據(jù)競(jìng)爭(zhēng)力評(píng)價(jià)的目的以及指標(biāo)選取的范圍，可以將傳媒競(jìng)爭(zhēng)力的評(píng)價(jià)指標(biāo)體系分為綜合指標(biāo)體系和單項(xiàng)指標(biāo)體系。單項(xiàng)指標(biāo)體系只針對(duì)研究對(duì)象的*一方面進(jìn)展評(píng)價(jià)，所選擇的指標(biāo)也只限于與這一方面相關(guān)的因素。其功能是評(píng)價(jià)傳媒的局部競(jìng)爭(zhēng)力。綜合指標(biāo)體系針對(duì)研究對(duì)象的全部領(lǐng)域進(jìn)展評(píng)價(jià)，所選擇的指標(biāo)涉及傳媒的各個(gè)方面。其功能是評(píng)價(jià)傳媒的整體競(jìng)爭(zhēng)力。

依據(jù)指標(biāo)體系的內(nèi)在邏輯關(guān)系，又可將其分為描述性指標(biāo)體系和分析性指標(biāo)體系。描述性指標(biāo)體系主要反映系統(tǒng)的實(shí)際狀況或條件，如資源、環(huán)境條件等。它按照一定的體系聚集社會(huì)經(jīng)濟(jì)各項(xiàng)統(tǒng)計(jì)中能描述傳媒競(jìng)爭(zhēng)力狀態(tài)的各項(xiàng)指標(biāo)。描述性指標(biāo)體系具有以下幾個(gè)根本功能：①聚集描述傳媒競(jìng)爭(zhēng)力狀況和趨勢(shì)的根本數(shù)據(jù)，力圖全面、翔實(shí)地反映傳媒競(jìng)爭(zhēng)力開(kāi)展的根本狀態(tài)；②它是搜集傳媒競(jìng)爭(zhēng)力數(shù)據(jù)的框架；③它是協(xié)調(diào)、統(tǒng)一各項(xiàng)統(tǒng)計(jì)的根底。分析性指標(biāo)體系主要是分析計(jì)量評(píng)價(jià)對(duì)象各因子之間的內(nèi)在聯(lián)系和各因子的開(kāi)展趨勢(shì)，如有關(guān)資源效率、經(jīng)濟(jì)效率等方面的指標(biāo)。分析性指標(biāo)體系的指標(biāo)具有高度綜合性和創(chuàng)新性，可以到達(dá)綜合評(píng)價(jià)的目的，洞察和把握傳媒競(jìng)爭(zhēng)力存在及開(kāi)展的狀態(tài)和趨勢(shì)。但是，分析性指標(biāo)體系在設(shè)置和應(yīng)用中會(huì)碰到指標(biāo)權(quán)重難以確定的問(wèn)題。另外，傳媒競(jìng)爭(zhēng)力評(píng)價(jià)指標(biāo)的標(biāo)準(zhǔn)〔標(biāo)準(zhǔn)值或基準(zhǔn)值〕也并不是一個(gè)絕對(duì)概念，隨著時(shí)間的變化和外在條件的變化，標(biāo)準(zhǔn)也應(yīng)該做相應(yīng)的變更。

依據(jù)競(jìng)爭(zhēng)力評(píng)價(jià)的對(duì)象范圍，可以將傳媒競(jìng)爭(zhēng)力的評(píng)價(jià)指標(biāo)體系分為總體性評(píng)價(jià)指標(biāo)體系和分類性評(píng)價(jià)指標(biāo)體系?？傮w性評(píng)價(jià)指標(biāo)體系是對(duì)所有傳媒進(jìn)展綜合評(píng)價(jià)的系統(tǒng)，針對(duì)的是傳媒競(jìng)爭(zhēng)力的同一性問(wèn)題；分類性指標(biāo)體系是對(duì)不同類型的媒體進(jìn)展評(píng)估的系統(tǒng)，它可以解決媒體的差異性問(wèn)題。兩者可以互相參照，但一般說(shuō)來(lái)，總體評(píng)價(jià)方法可以為分類評(píng)價(jià)方法提供理論依據(jù)；而分類評(píng)價(jià)則可以通過(guò)對(duì)各種不同類型媒體的具體評(píng)價(jià)，積累大量的實(shí)際數(shù)據(jù)，為總體性評(píng)價(jià)提供實(shí)踐根底。

本文的首要目標(biāo)是構(gòu)擬一個(gè)總體性的綜合評(píng)價(jià)指標(biāo)體系，在此根底上，以實(shí)際應(yīng)用為主要目的可以再構(gòu)建分類性的綜合或單項(xiàng)指標(biāo)體系。為了既能反映一個(gè)媒體競(jìng)爭(zhēng)力的現(xiàn)實(shí)存在狀態(tài)，又能表達(dá)這種競(jìng)爭(zhēng)力的開(kāi)展趨勢(shì)，我們將試圖使指標(biāo)體系的描述性與分析性統(tǒng)一起來(lái)。但無(wú)論是哪一類的指標(biāo)體系，都應(yīng)具有實(shí)用性、定量化和綜合性等幾個(gè)一般性的特征。

2．構(gòu)建指標(biāo)體系的原則

根據(jù)傳媒競(jìng)爭(zhēng)力的性質(zhì)、層次和存在形態(tài)，傳媒競(jìng)爭(zhēng)力的評(píng)價(jià)不可能基于單個(gè)指標(biāo)數(shù)據(jù)用一種簡(jiǎn)單的方法就能完成，而必須考慮諸多方面的因素。與此相應(yīng)，確立評(píng)價(jià)指標(biāo)也應(yīng)該遵循以下幾個(gè)根本原則。五種賦權(quán)法及其比擬摘要:本文介紹了五種確定評(píng)估指標(biāo)權(quán)重的方法及其比擬。權(quán)重是綜合評(píng)價(jià)中的一個(gè)重要的指標(biāo)體系，合理地分配權(quán)重是量化評(píng)估的關(guān)鍵,權(quán)重的構(gòu)成是否合理，也直接影響到評(píng)估的科學(xué)性。為了更好地選擇確定權(quán)重的方法，我們給出了幾種方法的詳細(xì)計(jì)算過(guò)程,以便進(jìn)展準(zhǔn)確比照。關(guān)鍵詞:權(quán)重統(tǒng)計(jì)平均法變異系數(shù)法層次分析法德?tīng)柗品ㄅ判蚍ㄒ弧?quán)重的概念權(quán)重是一個(gè)相對(duì)的概念，是針對(duì)*一指標(biāo)而言。*一指標(biāo)的權(quán)重是指該指標(biāo)在整體評(píng)價(jià)中的相對(duì)重要程度。權(quán)重表示在評(píng)價(jià)過(guò)程中，是被評(píng)價(jià)對(duì)象的不同側(cè)面的重要程度的定量分配，對(duì)各評(píng)價(jià)因子在總體評(píng)價(jià)中的作用進(jìn)展區(qū)別對(duì)待。事實(shí)上，沒(méi)有重點(diǎn)的評(píng)價(jià)就不算是客觀的評(píng)價(jià)，每個(gè)人員的性質(zhì)和所處的層次不同，其工作的重點(diǎn)也肯定是不能一樣的。因此，相對(duì)工作所進(jìn)展的業(yè)績(jī)考評(píng)必須對(duì)不同內(nèi)容對(duì)目標(biāo)奉獻(xiàn)的重要程度做出估計(jì)，即權(quán)重確實(shí)定。二、3種主要確實(shí)定權(quán)重的方法(一)統(tǒng)計(jì)平均法統(tǒng)計(jì)平均數(shù)法〔Statisticalaveragemethod〕是根據(jù)所選擇的各位專家對(duì)各項(xiàng)評(píng)價(jià)指標(biāo)所賦予的相對(duì)重要性系數(shù)分別求其算術(shù)平均值，計(jì)算出的平均數(shù)作為各項(xiàng)指標(biāo)的權(quán)重。其根本步驟是：第一步，確定專家。一般選擇本行業(yè)或本領(lǐng)域中既有實(shí)際工作經(jīng)歷、又有扎實(shí)的理論根底、并公平公正道德高尚的專家；第二步，專家初評(píng)。將待定權(quán)數(shù)的指標(biāo)提交給各位專家，并請(qǐng)專家在不受外界干擾的前提下獨(dú)立的給出各項(xiàng)指標(biāo)的權(quán)數(shù)值；第三步，回收專家意見(jiàn)。將各位專家的數(shù)據(jù)收回，并計(jì)算各項(xiàng)指標(biāo)的權(quán)數(shù)均值和標(biāo)準(zhǔn)差；第四步，分別計(jì)算各項(xiàng)指標(biāo)權(quán)重的平均數(shù)。如果第一輪的專家意見(jiàn)比擬集中，并且均值的離差在控制的范圍之內(nèi)，即可以用均值確定指標(biāo)權(quán)數(shù)。如果第一輪專家的意見(jiàn)比擬分散，可以把第一輪的計(jì)算結(jié)果反應(yīng)給專家，并請(qǐng)他們重新給出自己的意見(jiàn)，直至各項(xiàng)指標(biāo)的權(quán)重與其均值的離差不超過(guò)預(yù)先給定的標(biāo)準(zhǔn)為止，即到達(dá)各位專家的意見(jiàn)根本一致，才能將各項(xiàng)指標(biāo)的權(quán)數(shù)的均值作為相應(yīng)指標(biāo)的權(quán)數(shù)。(二)變異系數(shù)法變異系數(shù)法(Coefficientofvariationmethod)是直接利用各項(xiàng)指標(biāo)所包含的信息，通過(guò)計(jì)算得到指標(biāo)的權(quán)重。是一種客觀賦權(quán)的方法。此方法的根本做法是：在評(píng)價(jià)指標(biāo)體系中，指標(biāo)取值差異越大的指標(biāo)，也就是越難以實(shí)現(xiàn)的指標(biāo)，這樣的指標(biāo)更能反映被評(píng)價(jià)單位的差距。由于評(píng)價(jià)指標(biāo)體系中的各項(xiàng)指標(biāo)的量綱不同，不宜直接比擬其差異程度。為了消除各項(xiàng)評(píng)價(jià)指標(biāo)的量綱不同的影響，需要用各項(xiàng)指標(biāo)的變異系數(shù)來(lái)衡量各項(xiàng)指標(biāo)取值的差異程度。各項(xiàng)指標(biāo)的變異系數(shù)公式如下：iii*Vni,,2,1

〔14—1〕式中：iV是第i項(xiàng)指標(biāo)的變異系數(shù)、也稱為標(biāo)準(zhǔn)差系數(shù)；i是第i項(xiàng)指標(biāo)的標(biāo)準(zhǔn)差；i*是第i項(xiàng)指標(biāo)的平均數(shù)。各項(xiàng)指標(biāo)的權(quán)重為：niiiiVVW1〔14—2〕例如，英國(guó)社會(huì)學(xué)家英克爾斯提出了在綜合評(píng)價(jià)一個(gè)國(guó)家或地區(qū)的現(xiàn)代化程度時(shí)，其各項(xiàng)指標(biāo)的權(quán)重確實(shí)定方法就是采用的變異系數(shù)法?！纠吭?yán)米儺愊禂?shù)法綜合評(píng)價(jià)一個(gè)國(guó)家現(xiàn)代化程度時(shí)的指標(biāo)體系中的各項(xiàng)指標(biāo)的權(quán)重。數(shù)據(jù)資料是選取*一年的數(shù)據(jù)，包括中國(guó)在內(nèi)的中等收入水平以上的近40個(gè)國(guó)家的10項(xiàng)指標(biāo)作為評(píng)價(jià)現(xiàn)代化程度的指標(biāo)體系，計(jì)算這些國(guó)家的變異系數(shù)，反映出各個(gè)國(guó)家在這些指標(biāo)上的差距，并作為確定各項(xiàng)指標(biāo)權(quán)重的依據(jù)。其標(biāo)準(zhǔn)差、平均數(shù)數(shù)據(jù)及其計(jì)算出的變異系數(shù)等見(jiàn)表14-3。表14-3現(xiàn)代化水平評(píng)價(jià)指標(biāo)的權(quán)重指標(biāo)人均GNP(美元)農(nóng)業(yè)占GDP的比重(%)第三產(chǎn)業(yè)占GDP比重(%)非農(nóng)業(yè)勞動(dòng)力比重(%)城市人口比重(%)人口自然增長(zhǎng)率(%)平均預(yù)期壽命(歲)成人