教學(xué)網(wǎng)站評價指標(biāo)體系的構(gòu)建及評估方法(共12頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上教學(xué)網(wǎng)站評價指標(biāo)體系的構(gòu)建及評估方法 摘要：該文從教學(xué)網(wǎng)站的基本功能、網(wǎng)站內(nèi)容、學(xué)習(xí)效用、運(yùn)營成本出發(fā)，運(yùn)用層次分析法構(gòu)建出網(wǎng)站評估體系的指標(biāo)。通過創(chuàng)建評價指標(biāo)的判斷矩陣，對判斷矩陣進(jìn)行一次性檢驗，檢驗權(quán)重分配的合理性，最終根據(jù)權(quán)重分配結(jié)果構(gòu)建教學(xué)網(wǎng)站評價指標(biāo)體系。 關(guān)鍵詞：教學(xué)網(wǎng)站；指標(biāo)體系；網(wǎng)站評價；層次分析法 中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）14-3299-06 Abstract： This essay introduces the construction of assessment index system f

2、or websites according to the analytic hierarchy process （AHP）. The research is based on the essential functions， the contents， the effect of learning and operation cost of the teaching websites. The judgment matrix is established， and via this establishment， a onetime examination of the matrix is co

3、nducted so as to test the rationality of the determination of weight factors. Finally， the construction of the evaluation index system for the teaching websites is completed according to the weight factors. Key words： teaching websites； index system； website evaluation； AHP 當(dāng)前，很多高校都在不斷地加快教學(xué)網(wǎng)站的開發(fā)與應(yīng)用，

4、網(wǎng)站教學(xué)方式突破了時間與空間的阻隔，可以滿足更多的教學(xué)需求。如何設(shè)計出一個高質(zhì)量的教學(xué)網(wǎng)站，已成為提升學(xué)校競爭力的重要因素。如何評價一個教學(xué)網(wǎng)站的好壞，存在一個評價指標(biāo)的問題，理解并掌握網(wǎng)站指標(biāo)評價體系，對于開發(fā)教學(xué)網(wǎng)站資源具有非常現(xiàn)實的意義。但長期以來高校的教學(xué)網(wǎng)站建設(shè)存在諸多問題。例如，缺乏規(guī)劃、網(wǎng)站建設(shè)重復(fù)、網(wǎng)站功能單一、網(wǎng)站安全性能不高、防御外部干擾能力弱、缺乏有效地安全預(yù)防措施和應(yīng)急方案等。 通過構(gòu)建教學(xué)網(wǎng)站評價指標(biāo)體系，采用定性與定量相結(jié)合的“層次分析法”，合理地確定其中的各個指標(biāo)，計算出各指標(biāo)的權(quán)重分配，從而可以構(gòu)建性能優(yōu)異的教學(xué)網(wǎng)站。 1 如何構(gòu)建教學(xué)網(wǎng)站評價指標(biāo) 1.1 評價

5、指標(biāo)的概念 指標(biāo)是指評定某種特定事物或概念的一組或一套特征值，該特征值即可稱為事物的指標(biāo)。指標(biāo)可以用數(shù)字、符號或文字等形式來表示，通過它來判斷目標(biāo)事物的特征，作為衡量事物性能的參考依據(jù)。 1.2 建立教學(xué)網(wǎng)站評價指標(biāo)體系的意義 教學(xué)網(wǎng)站評價指標(biāo)體系是由反映教學(xué)網(wǎng)站總體要求下的若干相互聯(lián)系、相互制約的指標(biāo)組成的有機(jī)整體，用來反映網(wǎng)站的整體情況。根據(jù)評價指標(biāo)體系可對網(wǎng)站進(jìn)行評價，分析結(jié)果，找出薄弱環(huán)節(jié)，提出改進(jìn)意見。教學(xué)網(wǎng)站評價指標(biāo)體系是用來衡量教學(xué)網(wǎng)站性能的，反映使用戶是否愿意使用該網(wǎng)站進(jìn)行教學(xué)，網(wǎng)站設(shè)計人員也能依據(jù)其建立互動性高、具有吸引力的教學(xué)網(wǎng)站，通過網(wǎng)站評價指標(biāo)系統(tǒng)的引導(dǎo)，能構(gòu)建出適合高

6、校師生使用的教學(xué)網(wǎng)站。 1.3 建立教學(xué)網(wǎng)站評價體系應(yīng)滿足的標(biāo)準(zhǔn) 為了全面、客觀、科學(xué)地評價教學(xué)網(wǎng)站，在研究和設(shè)計評價指標(biāo)時通常應(yīng)滿足以下特性： 1）簡明性：指標(biāo)內(nèi)容要力求簡單明了； 2）可行性：要能夠?qū)嶋H應(yīng)用在教學(xué)活動中； 3）信效度：要能測出真正的問題并具有高度的穩(wěn)定性； 4）重要性：要能反映出重要的內(nèi)容與主要特征； 5）適當(dāng)性：要能指出當(dāng)前的現(xiàn)況與潛在的問題； 6）可得性：指標(biāo)的數(shù)據(jù)來源必須易于獲??； 7）比較性：可適用于不同區(qū)域、單位及群體間的比較。 實際上，以上諸特性中，通常需根據(jù)使用目的對其重要性予以不同對待，各自分配不同的權(quán)重。 1.4 指標(biāo)的結(jié)構(gòu)與內(nèi)容 根據(jù)上述標(biāo)準(zhǔn)，針對高校教

7、學(xué)網(wǎng)站的特點，可規(guī)劃出高校教學(xué)網(wǎng)站評價指標(biāo)體系。該體系自頂向下可劃分為目標(biāo)層、準(zhǔn)則層和指標(biāo)層三個層次，如表1所示。 一級指標(biāo)包括“內(nèi)容指標(biāo)”、“功能指標(biāo)”、“技術(shù)指標(biāo)”、“效用指標(biāo)”和“成本指標(biāo)”五個方面。再從這五個方面出發(fā)，將其分解成更具體的二級指標(biāo)體系。網(wǎng)站評價總共分為5個一級指標(biāo)、19個二級指標(biāo)（見表1）。 下面介紹每個指標(biāo)的含義及評價的具體內(nèi)容。 1.4.1 內(nèi)容指標(biāo)A “教學(xué)內(nèi)容（A1）”，通常應(yīng)該包括學(xué)習(xí)指南和學(xué)習(xí)資料。這里的學(xué)習(xí)指南給出遠(yuǎn)程教育學(xué)習(xí)的指導(dǎo)性意見，指明學(xué)員必須掌握哪些基礎(chǔ)知識才能完成一門課程的正常學(xué)習(xí)，還需指明遠(yuǎn)程教育學(xué)籍管理辦法、課程考核辦法、教學(xué)計劃、教學(xué)內(nèi)容和

8、課程安排依據(jù)等事項的說明；而學(xué)習(xí)資料則是指具體應(yīng)該包括的教學(xué)文字材料、音頻或視頻等。 “教學(xué)資料的實時性（A2）”，反映教學(xué)資料的新舊程度，學(xué)員對教學(xué)資料的滿意度；是否能為學(xué)員提供及時的輔導(dǎo)，對教學(xué)過程中產(chǎn)生的問題能否及時更新等。 “教學(xué)資料的豐富程度（A3）”，主要指教學(xué)資源是否充足、能否供學(xué)員方便地引用等。 “教師的教學(xué)水平（A4）”，反映教學(xué)內(nèi)容是否符合教學(xué)對象的需求，教學(xué)上的重點和難點是否能夠解釋到位。 1.4.2 功能指標(biāo)B “教學(xué)管理功能（B1）”，指教學(xué)網(wǎng)站能否正常地實現(xiàn)遠(yuǎn)程教學(xué)，提供相應(yīng)的教學(xué)管理功能。 “在線考試功能（B2）”，考查是否能實現(xiàn)網(wǎng)上在線測試、自測練習(xí)和自動評分等

9、功能。 “學(xué)員輔導(dǎo)功能（B3）”，主要評判網(wǎng)站的輔助教學(xué)模塊的實施效果。 “師生互動功能（B4）”，反映網(wǎng)站所能提供的交互功能的程度，如指導(dǎo)學(xué)員學(xué)習(xí)、作業(yè)、答疑和討論等。 1.4.3 設(shè)計指標(biāo)C “導(dǎo)航機(jī)制（C1）”，主要考查網(wǎng)站的導(dǎo)航機(jī)制是否順暢可靠，是否提供有清晰的導(dǎo)航欄，鏈接是否正確無誤，是否提供站點地圖。 “信息檢索（C2）”，評價網(wǎng)站是否提供全文和關(guān)鍵詞的檢索功能。 “系統(tǒng)安全穩(wěn)定性（C3）”，評價網(wǎng)站是否有信息安全管理措施，能否定期排查不良信息。建立網(wǎng)絡(luò)安全制度和安全防護(hù)等相關(guān)安全制度規(guī)范，安裝防病毒系統(tǒng)并能不斷的完善，定時排查服務(wù)器，掃描各個網(wǎng)站的漏洞信息并及時更新。 “系統(tǒng)兼容

10、性（C4）”，主要考查網(wǎng)站是否兼容各種版本的瀏覽器。 1.4.4 效用指標(biāo)D “考試通過率（D1）”，用于直觀地反映學(xué)生的學(xué)習(xí)效果。 “用戶點擊率（D2）”和“課程學(xué)習(xí)率（D3）”，用于反映該教學(xué)網(wǎng)站的訪問量，校方可根據(jù)該指標(biāo)的好壞來評估網(wǎng)站的效能。 “學(xué)員管理（D4）”，反映對參加遠(yuǎn)程教育的學(xué)生所應(yīng)采取的管理制度。 1.4.5 成本指標(biāo)E 教學(xué)網(wǎng)站在運(yùn)行過程中要考慮到對成本的控制，包括網(wǎng)站的開發(fā)成本和維護(hù)成本等費(fèi)用。 2 評估教學(xué)網(wǎng)站的方法 整體指標(biāo)體系確定之后，采取層次分析法（AHP）計算各指標(biāo)權(quán)重。AHP法是一種定量與定性相結(jié)合的系統(tǒng)分析方法，可分成四部分進(jìn)行，分別為問卷設(shè)計、問卷實施分

11、析、權(quán)重值計算和綜合評價。 2.1 問卷設(shè)計 主要利用問卷調(diào)查方式咨詢專家的意見，并據(jù)此構(gòu)造兩兩比較的判斷矩陣。在此環(huán)節(jié)，被調(diào)查者要反復(fù)回答問題：針對ai和aj兩個元素哪一個更重要，重要多少？如表2所示，按19比例標(biāo)度來評價指標(biāo)的重要程度。 為了直觀地表達(dá)各個指標(biāo)之間的兩兩相對重要關(guān)系，可以采用表3所示的二維表結(jié)構(gòu)來表示。該表將教學(xué)網(wǎng)站的五個一級指標(biāo)名稱分別作為“行”的標(biāo)題ai（i=15）和“列”的標(biāo)題aj （j=15）；而“行”與“列”的交叉處所形成的單元格記為aij ，aij 的取值為“ai / aj ”的比值。例如，當(dāng)i=3、j=1時，由表3 可知，a31 代表“設(shè)計指標(biāo)/內(nèi)容指標(biāo)”的比

12、值 。aij 的值通過問卷調(diào)查表征求專家的意見獲得，指標(biāo)重要程度參照表2來填寫，例如當(dāng)“a31 =設(shè)計指標(biāo)/內(nèi)容指標(biāo)”；即a31=C/A=4，由表2可知，表明該網(wǎng)站更加注重“設(shè)計指標(biāo)”，即設(shè)計指標(biāo)比內(nèi)容指標(biāo)重要。 被調(diào)查者在填寫問卷前需要仔細(xì)閱讀上表中的標(biāo)度，以及各指標(biāo)項的意義；在相應(yīng)標(biāo)度的單元格內(nèi)參照表2填上代表指標(biāo)間相對重要程度的比值，從而完成一級指標(biāo)的問卷設(shè)計，用類似方法再完成另外5張二級指標(biāo)間的重要程度調(diào)查表。 2.2 問卷調(diào)查實施 具體實施時，將設(shè)計好的一、二級指標(biāo)重要程度調(diào)查表分發(fā)給各位專家填寫，即對網(wǎng)站評價指標(biāo)的重要性進(jìn)行填寫。為了保證調(diào)查的準(zhǔn)確性，在AHP咨詢過程中，可以針對不

13、同準(zhǔn)則請有關(guān)專家填寫判斷矩陣，不主張一個專家從頭到尾地完成所有判斷矩陣的填寫，一般需多人參與，但用戶可以控制在十幾人左右。 2.3 利用AHP法計算權(quán)重 運(yùn)用AHP法進(jìn)行評價，分為三步完成： 2.3.1 根據(jù)系統(tǒng)設(shè)定的一、二級指標(biāo)體系，利用問卷調(diào)查的結(jié)果數(shù)據(jù)，構(gòu)造比較判斷矩陣 比較判斷矩陣的定義： 比較 n 個因子x1，x2，xn對某因素 F 的影響大小，我們一般采取對因子進(jìn)行兩兩比較的辦法，用數(shù)字 19 及其倒數(shù)作為矩陣 A 的標(biāo)度建立比較判斷矩陣。 假設(shè)某層有 n 個因素 x1，x2，xn，要比較它們對上一層某一準(zhǔn)則的影響程度，確定在該層中相對于某一準(zhǔn)則所占的比重，逐層比較相關(guān)因素。用 a

14、ij表示第 i 個因素相對于第 j 個因素的重要程度，而aji=1/aij。 A=aijn×n=a11a12a1na21a22a2nan1an2ann ，A稱為比較判斷矩陣。 2.3.2 由比較判斷矩陣計算被比較元素對于該準(zhǔn)則的相對權(quán)重W 先計算判斷矩陣每一行元素的積Mi，然后計算各行Mi的n 次方根值XWi，n表示矩陣的階數(shù)，即xwi=j=1naijn 對所得的xwi進(jìn)行歸一化處理，得到相應(yīng)的權(quán)重wi，即wi=xwii=1nxwi 2.3.3 判斷矩陣的一致性檢驗 在比較矩陣元素相對權(quán)重時，采用了 19 的標(biāo)度，這導(dǎo)致計算出來到權(quán)重存在一定程度的誤差。因此，這里我們不能要求判斷矩陣

15、具有嚴(yán)格的一致性，而是允許判斷矩陣在一定程度上的非一致性。因此必須考慮是否存在嚴(yán)重地非一致，以便確定是否可以接受這個檢驗結(jié)果。 為進(jìn)行判斷矩陣的一致性檢驗，需計算一致性指標(biāo)： 設(shè)max為判斷矩陣 A 的最大特征值，可以證明，當(dāng) A 是一致矩陣時，max=n；否則，max比 n 大得越多， 判斷矩陣 A 的非一致程度越嚴(yán)重。 可以通過下式計算一致性評估指標(biāo)CI（consistency index）： CI=MAX-nn-1 n為判斷矩陣的階數(shù) 當(dāng)CI 稍大于 0 時，A 具有較為滿意的一致性；否則，A 的一致性較差。 一般情況下，雖然CI 值能反映出判斷矩陣 A 的非一致性的嚴(yán)重程度，但是不能說

16、就可以肯定接受這個非一致性。我們還需要引入一個度量的標(biāo)準(zhǔn)，即所謂隨機(jī)一致性指標(biāo) RI （random index）。它是用從 19 及其倒數(shù)中隨機(jī)抽取的數(shù)字構(gòu)造的 n 階正互反矩陣，算出相應(yīng)的CI ，取充分大的樣本，通過計算得到樣本均值，如表4所示。 由于 1、2 階正互反矩陣總是一致矩陣，故 RI =0。當(dāng)n3時，通過計算一致性比率CR，CR=CI/RI，當(dāng)CR 0.1時，則需要對判斷矩陣做適當(dāng)修正。 2.4 AHP_COMPUTER軟件的使用 前面介紹AHP計算權(quán)重的方法很繁瑣，實際上很少使用，而是使用一款稱之為AHP_COMPUTER的軟件來快速算出各個指標(biāo)的特征向量（即權(quán)重），并可快速

17、判斷該矩陣是否具有滿意的一致性，AHP_COMPUTER軟件界面如下圖所示： 該計算器操作簡單，只要在軟件中輸入矩陣階數(shù)和矩陣變量，點擊“開始”按鈕，便可以計算出權(quán)重，右邊輸出特征向量即對應(yīng)指標(biāo)項的權(quán)重值，各權(quán)重值相加應(yīng)等于1；一致性檢驗指標(biāo)給出該判斷矩陣是否具有滿意的一致性。 必須將所有的判斷矩陣輸入AHP計算器中進(jìn)行權(quán)重計算，但并不是所有專家構(gòu)造的判斷矩陣都能通過一致性檢驗。因此，需采用多位專家的意見，然后再進(jìn)行綜合評價。即先讓專家單獨填寫問卷，然后利用AHP計算器計算其構(gòu)造的矩陣是否通過一致性檢驗，如果通過則保留，未通過則作廢。若多位專家意見均未通過一致性檢驗，則需重新咨詢或者適當(dāng)修改判

18、斷矩陣，直至判斷矩陣通過一致性檢驗為止，對于極端的專家意見則可去除之。 通過AHP計算器，得到各判斷矩陣的最大特征根和各指標(biāo)的權(quán)重W，以及各判斷矩陣一致性檢驗結(jié)果。表5給出了一級判斷矩陣的樣例值及權(quán)重；表6表10給出了二級判斷矩陣的樣例值及權(quán)重；表11列出了判斷矩陣一致性檢驗的歸納結(jié)果。 2.5 形成綜合評價指標(biāo)體系總表 2.5.1 評價標(biāo)準(zhǔn)的確定 本指標(biāo)體系采用量化評價標(biāo)度，依據(jù)評分標(biāo)準(zhǔn)（優(yōu)秀 85，75良好<85，60基本及格< 75，不及格<60）對各個層次二級評估指標(biāo)進(jìn)行評分。 2.5.2 教學(xué)網(wǎng)站總體評估 網(wǎng)站總分=Yi?Wi，Wi為合成權(quán)重（Wi=一級指標(biāo)權(quán)重×二級指標(biāo)權(quán)重） 最后根據(jù)各判斷矩陣（一級指標(biāo)、二級指標(biāo)）的合成權(quán)重，采用上述量化評價標(biāo)度，給出網(wǎng)站的總體評估。如表12中的樣例值所示，該教學(xué)網(wǎng)站獲得了81.2分，達(dá)到“良好”等級。 3 總結(jié) 層次分析法作為一種科學(xué)的決策分析方法，盡管能夠較客觀、合理地評價教學(xué)網(wǎng)站，但其指標(biāo)選取及指標(biāo)之間重要性的比較，都是由人來決