第5章-專家系統(tǒng)的評(píng)估

第5章專家系統(tǒng)的評(píng)估必要性專家系統(tǒng)建立后，其性能與效益如何，需要通過(guò)對(duì)專家系統(tǒng)的評(píng)估來(lái)做出結(jié)論。在適當(dāng)時(shí)候進(jìn)行評(píng)估就可得到項(xiàng)目的重要結(jié)論。但不恰當(dāng)?shù)脑u(píng)估工作也可能埋沒(méi)真正有價(jià)值的專家系統(tǒng)開(kāi)發(fā)活動(dòng)。

5專家系統(tǒng)的評(píng)估發(fā)展專家系統(tǒng)的需要不論你是否意識(shí)到，專家系統(tǒng)總是在被評(píng)估中。設(shè)計(jì)和建立一個(gè)專家系統(tǒng)是一個(gè)就下述問(wèn)題對(duì)專家系統(tǒng)不斷地進(jìn)行評(píng)估的過(guò)程

采用的知識(shí)表達(dá)方法是否合適，是否需要擴(kuò)展或修改?該系統(tǒng)能否提供正確的答案和進(jìn)行正確的推理?存入專家系統(tǒng)的知識(shí)是否和專家知識(shí)一致?用戶和系統(tǒng)相互聯(lián)系是否方便?用戶需要系統(tǒng)提供什么方便和要求系統(tǒng)具有什么能力?

5.1評(píng)估專家系統(tǒng)的原因5.1評(píng)估專家系統(tǒng)的原因?qū)＜蚁到y(tǒng)評(píng)估的受益者專家系統(tǒng)制造者評(píng)估結(jié)果將改進(jìn)與發(fā)展專家系統(tǒng)的成果，使專家系統(tǒng)制造者受益

合作專家與用戶對(duì)專家系統(tǒng)的評(píng)估主要有助于專家們構(gòu)造領(lǐng)域知識(shí)和其自身的專門知識(shí)對(duì)用戶而言，評(píng)估能幫助他們決定什么能力是有用的，什么是需要的或希望有的以及哪些可被忽略。這種反饋還能使得專家系統(tǒng)制造者提供與用戶要求相稱的功能。

系統(tǒng)研究開(kāi)發(fā)者評(píng)估方法本身也使有些研究人員感興趣。許多專家系統(tǒng)評(píng)估方法可用于其它系統(tǒng)和場(chǎng)合。

5.2評(píng)估專家系統(tǒng)的內(nèi)容和時(shí)機(jī)評(píng)估專家系統(tǒng)的內(nèi)容（五方面）專家系統(tǒng)的決定和建議的質(zhì)量評(píng)估這些專家系統(tǒng)完成決策任務(wù)時(shí)的程序性能

因?yàn)榭煽慷鴾?zhǔn)確的建議是專家咨詢系統(tǒng)的一個(gè)關(guān)鍵成分專家系統(tǒng)如果不能說(shuō)服別人相信專家系統(tǒng)所作的決定和所給的建議是恰當(dāng)?shù)暮涂煽康脑?，那么預(yù)定的使用者就不會(huì)接受這個(gè)專家系統(tǒng)。所用推理方法的正確性人們?nèi)找嬲J(rèn)識(shí)到，要達(dá)到專家水平的性能，可能要求更加重視專家用來(lái)解決那些通常要求專家系統(tǒng)去解決的問(wèn)題時(shí)所應(yīng)用的推理機(jī)理。

5.2評(píng)估專家系統(tǒng)的內(nèi)容和時(shí)機(jī)評(píng)估專家系統(tǒng)的內(nèi)容（五方面）人-機(jī)對(duì)話的質(zhì)量專家系統(tǒng)和使用者之間能否很自然地對(duì)話，也會(huì)影響專家系統(tǒng)是否被預(yù)定的使用者所接受。

系統(tǒng)效率在評(píng)估專家系統(tǒng)過(guò)程中，必須分析在實(shí)際使用環(huán)境下專家系統(tǒng)對(duì)決策過(guò)程的影響。一個(gè)專家系統(tǒng)如果要求使用者花費(fèi)過(guò)多時(shí)間，即使它在完成所有上面提到的任務(wù)方面是很出色的，也難以被使用者接受專家系統(tǒng)運(yùn)行的技術(shù)分析一般也是必要的。

CPU的能力沒(méi)有充分發(fā)揮，或磁盤尋找過(guò)程設(shè)計(jì)不善，都可能會(huì)造成專家系統(tǒng)效率不高

5.2評(píng)估專家系統(tǒng)的內(nèi)容和時(shí)機(jī)評(píng)估專家系統(tǒng)的內(nèi)容（五方面）成本效果專家系統(tǒng)的效能評(píng)估是指綜合評(píng)估專家系統(tǒng)的效率與性能，其基礎(chǔ)是建立合理、實(shí)用、易于實(shí)現(xiàn)的指標(biāo)體系。專家系統(tǒng)效能評(píng)估主要有以下研究?jī)?nèi)容：效能評(píng)估指標(biāo)體系的研究。知識(shí)庫(kù)基礎(chǔ)結(jié)構(gòu)評(píng)估指標(biāo)和構(gòu)造知識(shí)庫(kù)結(jié)構(gòu)的研究。推理機(jī)制效能評(píng)估和指標(biāo)的研究。專家系統(tǒng)開(kāi)發(fā)階段檢驗(yàn)與驗(yàn)證方法的研究。5.2評(píng)估專家系統(tǒng)的內(nèi)容和時(shí)機(jī)熟悉概念組織知識(shí)庫(kù)并確定工具建立知識(shí)庫(kù)設(shè)計(jì)推理策略設(shè)計(jì)人機(jī)界面設(shè)計(jì)測(cè)試平臺(tái)，并改進(jìn)原型系統(tǒng)設(shè)計(jì)階段實(shí)現(xiàn)階段測(cè)試事例專家系統(tǒng)原型測(cè)試平臺(tái)結(jié)果反饋由用戶定義由開(kāi)發(fā)者進(jìn)一步精煉由用戶操作 由用戶評(píng)估可靠性有效性性能專家系統(tǒng)原型化的步驟如圖5.1所示。圖5.1 專家系統(tǒng)原型化的步驟專家系統(tǒng)的測(cè)試是指按照專門的標(biāo)準(zhǔn)檢測(cè)專家系統(tǒng)性能的過(guò)程，其測(cè)試示意圖如圖5.2。圖5.2 專家系統(tǒng)測(cè)試示意圖5.2評(píng)估專家系統(tǒng)的內(nèi)容和時(shí)機(jī)評(píng)估專家系統(tǒng)的時(shí)機(jī)（九個(gè)階段）1.高層設(shè)計(jì)，定義長(zhǎng)期目標(biāo)。2.完成Mark-I模型，說(shuō)明其可行性。3.系統(tǒng)測(cè)試，通常采用的方法是：(1)運(yùn)行非正式測(cè)試的實(shí)例，用測(cè)試后的Mark-Ⅱ模型由專家產(chǎn)生反饋。(2)向友好的用戶介紹Mark-Ⅱ模型并征求其反饋意見(jiàn)。(3)根據(jù)用戶的反饋意見(jiàn)修改專家系統(tǒng)。(4)向用戶介紹修改后的Mark-Ⅱ模型，返回到第3(2)步。4.結(jié)構(gòu)化的性能評(píng)估。5.用戶可接受的結(jié)構(gòu)化評(píng)估。6.在模型環(huán)境中長(zhǎng)期服務(wù)運(yùn)行。7.進(jìn)行后續(xù)研究，以顯示專家系統(tǒng)大范圍的實(shí)用性。8.修改程序，使得專家系統(tǒng)能廣泛地移植。9.正式推出，投入市場(chǎng)并制定維護(hù)和更新的可靠計(jì)劃。5.3專家系統(tǒng)的評(píng)估方法評(píng)估方法（四種）軼事法本法簡(jiǎn)單地啟發(fā)式地利用一組例子說(shuō)明專家系統(tǒng)的性能。描述在哪些情況下專家系統(tǒng)工作良好。

實(shí)驗(yàn)法這種方法強(qiáng)調(diào)用實(shí)驗(yàn)的方法來(lái)評(píng)估專家系統(tǒng)在處理各種儲(chǔ)存在數(shù)據(jù)庫(kù)中的問(wèn)題事例時(shí)的性能。

人、機(jī)分別測(cè)試評(píng)價(jià)法

該方法試圖通過(guò)比較計(jì)算機(jī)與人的求解問(wèn)題的能力，來(lái)評(píng)價(jià)計(jì)算機(jī)的機(jī)器智能。

加權(quán)分層分析評(píng)價(jià)法

采用相對(duì)重要性加權(quán)的方法，對(duì)系統(tǒng)進(jìn)行多層次多指標(biāo)的綜合評(píng)價(jià)。5.4專家系統(tǒng)的評(píng)估工具評(píng)估工具（三種）一致性檢驗(yàn)程序這一程序列出專家系統(tǒng)模型修改前后對(duì)保存實(shí)例分別做出的結(jié)論之間的全部差別。在數(shù)據(jù)庫(kù)中查找模式搜索程序在實(shí)例數(shù)據(jù)庫(kù)中進(jìn)行會(huì)話以查找發(fā)現(xiàn)和假設(shè)的模式搜索程序，主要為了分析模型性能。比較計(jì)算機(jī)結(jié)論與專家結(jié)論

需要把對(duì)每一實(shí)例的專家結(jié)論都存儲(chǔ)在數(shù)據(jù)庫(kù)中，就可比較專家與模型各自做出的結(jié)論，從而取得對(duì)專家系統(tǒng)性能的明確評(píng)價(jià)。然后，就可把那些專家系統(tǒng)和人類專家結(jié)論不一致的實(shí)例拿來(lái)比較、分析和鑒別。5.5專家系統(tǒng)的評(píng)估實(shí)例多面評(píng)估方法實(shí)例（三階段）首先是主觀評(píng)估階段。評(píng)估的目標(biāo)專家系統(tǒng)的主觀評(píng)估階段是從用戶的角度對(duì)專家系統(tǒng)進(jìn)行評(píng)估，其目標(biāo)是專家系統(tǒng)的可用性。

多屬性效用分析法

多屬性效用法的基本思想是將全局的效能量度分解成若干層次，在比原有問(wèn)題簡(jiǎn)單得多的層次上逐步分析，可以將人的主觀評(píng)估用數(shù)量形式表達(dá)，然后再將它們綜合生成一個(gè)總評(píng)估量度。其次是“黑盒”內(nèi)部的技術(shù)評(píng)估階段。一種是評(píng)估知識(shí)庫(kù)是否為最小化的形式，評(píng)估知識(shí)庫(kù)邏輯一致性和精確性的靜態(tài)測(cè)試；一種是領(lǐng)域?qū)＜以u(píng)估知識(shí)庫(kù)的功能完整性和預(yù)見(jiàn)準(zhǔn)確性以及推理能力；再一種是評(píng)估整個(gè)專家系統(tǒng)服務(wù)需求的軟件測(cè)試和檢驗(yàn)方法。再次是經(jīng)驗(yàn)性評(píng)估階段。經(jīng)驗(yàn)性評(píng)估階段側(cè)重于專家系統(tǒng)性能的主要量度經(jīng)驗(yàn)評(píng)估中考慮最經(jīng)常和最一般的是實(shí)驗(yàn)

其一，實(shí)驗(yàn)要反映專家系統(tǒng)性能約束的客觀基準(zhǔn).其二，反映專家系統(tǒng)非伸縮判決規(guī)則的性能基準(zhǔn)，即專家系統(tǒng)的其它特征對(duì)性能基準(zhǔn)的失效沒(méi)有補(bǔ)償作用。專家系統(tǒng)評(píng)估的最終目標(biāo)是它的性能。