健康教育項目活動監(jiān)控評價-課件

健康教育項目活動

的監(jiān)控與評價中國CDC健康教育所呂書紅7/1/2023呂書紅，中國CDC健康教育所評價的概述一、幾個基本概念監(jiān)控與評價（M&E）監(jiān)控督導(dǎo)評價7/1/2023呂書紅，中國CDC健康教育所監(jiān)控包括監(jiān)測與現(xiàn)場督導(dǎo)。是加強質(zhì)量控制的有效方法。監(jiān)測是在項目計劃的執(zhí)行過程中，項目管理人員對項目實施的日常工作開展情況的檢查和督促，其目的是保證項目各項活動按計劃和要求實施。7/1/2023呂書紅，中國CDC健康教育所現(xiàn)場督導(dǎo)是監(jiān)控的重要手段，是監(jiān)控工作的重要組成部分。是項目管理者對項目實施情況分階段進行的定期監(jiān)督和指導(dǎo)。通過收集分析規(guī)劃實施單位相關(guān)資料、現(xiàn)場考察等方法，綜合運用社會學(xué)、統(tǒng)計學(xué)和流行病學(xué)等研究手段，評價項目的實施情況。7/1/2023呂書紅，中國CDC健康教育所評價

簡單地說就是比較。將客觀實際情況與項目計劃進行比較把項目實際取得的結(jié)果與預(yù)期目標進行比根據(jù)評價的目的和內(nèi)容的不同，分成形成評價、過程評價、效應(yīng)評價（近中期效果評價）和結(jié)局評價幾類。7/1/2023呂書紅，中國CDC健康教育所

監(jiān)控監(jiān)測，通過報表等收集信息資料現(xiàn)場督導(dǎo)評價側(cè)重效果評價（效應(yīng)評價）過程評價形成評價結(jié)局評價評價7/1/2023呂書紅，中國CDC健康教育所

二、評價的目的1.確定健康教育/健康促進計劃的先進性與合理性；2.確定活動是否適合目標人群，活動進展及資源利用情況；3.確定健康教育/健康促進計劃達到預(yù)期目標的程度及其影響因素；7/1/2023呂書紅，中國CDC健康教育所4.總結(jié)健康教育/健康促進項目的成功經(jīng)驗與不足之處，提出進一步的研究假設(shè)；5.向公眾介紹項目成就，擴大項目影響，改善公共關(guān)系，以取得目標人群、社區(qū)更多的支持與合作；6.向項目資金提供者說明項目結(jié)果，完成合同的要求。7/1/2023呂書紅，中國CDC健康教育所如何開展評價活動

一、如何開展監(jiān)控1、監(jiān)控的內(nèi)容各級項目實施進展情況質(zhì)量2、監(jiān)控的方法收集報表資料和現(xiàn)場督導(dǎo)各級項目辦收集、審核及分析季報表。通常監(jiān)控的信息收集可以在辦公室中就完成。7/1/2023呂書紅，中國CDC健康教育所

二、如何開展現(xiàn)場督導(dǎo)1、督導(dǎo)工作的原則（1）督導(dǎo)工作應(yīng)按項目計劃的要求，分級、按規(guī)定的頻度進行；（2）各級各類督導(dǎo)均應(yīng)以項目實施指南為規(guī)范；（3）應(yīng)對轄區(qū)內(nèi)所有實施項目的相關(guān)單位按要求進行督導(dǎo)。在注意覆蓋面的同時，要對工作薄弱地區(qū)實行重點督導(dǎo)；7/1/2023呂書紅，中國CDC健康教育所

督導(dǎo)工作的原則（4）注意收集信息的可靠性、分析問題方法學(xué)的正確性，注重問題的一般性、特殊性、偶然性、系統(tǒng)性及其內(nèi)在聯(lián)系；遵循深入基層、實事求是、反對弄虛作假的原則；（5）盡可能爭取政府和相關(guān)部門參加督導(dǎo)。注意多部門參與和業(yè)務(wù)的權(quán)威性。（6）針對項目實施的不同階段有不同的督導(dǎo)重點。7/1/2023呂書紅，中國CDC健康教育所2、督導(dǎo)評價的內(nèi)容、方法和指標1）項目活動的執(zhí)行情況內(nèi)容：了解項目活動是否按照計劃執(zhí)行資料收集方法：對照項目計劃時間表，查閱有關(guān)活動記錄指標：項目活動執(zhí)行率=按計劃完成的項目活動數(shù)/計劃的項目活動總數(shù)*100%7/1/2023呂書紅，中國CDC健康教育所2）項目活動的開展情況內(nèi)容：覆蓋和參與情況干預(yù)活動的類型、次數(shù)、持續(xù)時間、覆蓋的人群傳播材料的發(fā)放種類、數(shù)量、對象、使用的情況培訓(xùn)活動的次數(shù)、人數(shù)、持續(xù)時間、培訓(xùn)內(nèi)容等7/1/2023呂書紅，中國CDC健康教育所2）項目活動的開展情況資料收集方法：工作記錄或?qū)嵉赜^察培訓(xùn)活動的照片、簽到表、培訓(xùn)教材講義、日程、培訓(xùn)總結(jié)反饋節(jié)目表、媒體照片、目標人群的觀后反饋傳播材料的樣品、發(fā)放登記、發(fā)放活動照片、目標人群反饋7/1/2023呂書紅，中國CDC健康教育所

指標參加活動的人次數(shù)接受培訓(xùn)的人次數(shù)（培訓(xùn)業(yè)務(wù)人員、村醫(yī)、目標人群等）傳播材料的發(fā)放數(shù)量宣傳品覆蓋的人數(shù)大眾傳媒（廣播、電視、報紙等）刊播次數(shù)、頻次7/1/2023呂書紅，中國CDC健康教育所

指標項目活動覆蓋率=實際參與項目活動的目標人群人數(shù)/目標人群總?cè)藬?shù)*100%干預(yù)活動暴露率=實際參與某項干預(yù)活動的人數(shù)/應(yīng)參加該干預(yù)活動的總?cè)藬?shù)*100%媒介擁有率=擁有某種媒介（如某折頁、傳單等）的人數(shù)/目標人群的總?cè)藬?shù)*100%有效指數(shù)(EI)=干預(yù)活動暴露率/預(yù)期達到的參與百分比*100%7/1/2023呂書紅，中國CDC健康教育所

3）目標人群對項目活動的滿意度內(nèi)容：了解項目對象對活動內(nèi)容、組織形式、安排等的滿意程度以及不滿意的原因資料收集方法：定量問卷和專題小組討論指標：滿意度=參加某項活動的目標對象中持滿意態(tài)度的人數(shù)/參加該活動的目標對象總?cè)藬?shù)*100%也可對活動具體某一方面的評價7/1/2023呂書紅，中國CDC健康教育所4）項目活動實施質(zhì)量內(nèi)容：活動是否符合需求干預(yù)活動的質(zhì)量、傳播材料的質(zhì)量工作記錄的完整性和質(zhì)量服務(wù)利用情況如何工作人員的工作態(tài)度、知識、技能、業(yè)務(wù)指導(dǎo)能力資料收集方法觀察訪談查閱工作記錄7/1/2023呂書紅，中國CDC健康教育所5）項目經(jīng)費使用情況內(nèi)容：了解經(jīng)費到位和使用情況資料收集方法：財務(wù)報表指標：經(jīng)費到位率=已到位經(jīng)費/應(yīng)撥付項目活動總經(jīng)費*100%經(jīng)費執(zhí)行率=實際使用的經(jīng)費/計劃中預(yù)算經(jīng)費*100%6)其他：針對組織：機構(gòu)、網(wǎng)絡(luò)建設(shè)、部門合作、政策制定、環(huán)境開發(fā)等等（查閱文件、會議資料等）7/1/2023呂書紅，中國CDC健康教育所2）項目活動的開展情況資料收集方法：工作記錄或?qū)嵉赜^察培訓(xùn)活動的照片、簽到表、培訓(xùn)教材講義、日程、培訓(xùn)總結(jié)反饋節(jié)目表、媒體照片、目標人群的觀后反饋傳播材料的樣品、發(fā)放登記、發(fā)放活動照片、目標人群反饋7/1/2023呂書紅，中國CDC健康教育所

指標參加活動的人次數(shù)接受培訓(xùn)的人次數(shù)（培訓(xùn)業(yè)務(wù)人員、村醫(yī)、目標人群等）傳播材料的發(fā)放數(shù)量宣傳品覆蓋的人數(shù)大眾傳媒（廣播、電視、報紙等）刊播次數(shù)、頻次7/1/2023呂書紅，中國CDC健康教育所

指標項目活動覆蓋率=實際參與項目活動的目標人群人數(shù)/目標人群總?cè)藬?shù)*100%干預(yù)活動暴露率=實際參與某項干預(yù)活動的人數(shù)/應(yīng)參加該干預(yù)活動的總?cè)藬?shù)*100%媒介擁有率=擁有某種媒介（如某折頁、傳單等）的人數(shù)/目標人群的總?cè)藬?shù)*100%有效指數(shù)(EI)=干預(yù)活動暴露率/預(yù)期達到的參與百分比*100%7/1/2023呂書紅，中國CDC健康教育所過程評價3）目標人群對項目活動的滿意度內(nèi)容：了解項目對象對活動內(nèi)容、組織形式、安排等的滿意程度以及不滿意的原因資料收集方法：定量問卷和專題小組討論指標：滿意度=參加某項活動的目標對象中持滿意態(tài)度的人數(shù)/參加該活動的目標對象總?cè)藬?shù)*100%也可對活動具體某一方面的評價7/1/2023呂書紅，中國CDC健康教育所4）項目活動實施質(zhì)量內(nèi)容：活動是否符合需求干預(yù)活動的質(zhì)量、傳播材料的質(zhì)量工作記錄的完整性和質(zhì)量服務(wù)利用情況如何工作人員的工作態(tài)度、知識、技能、業(yè)務(wù)指導(dǎo)能力資料收集方法觀察訪談查閱工作記錄7/1/2023呂書紅，中國CDC健康教育所5）項目經(jīng)費使用情況內(nèi)容：了解經(jīng)費到位和使用情況資料收集方法：財務(wù)報表指標：經(jīng)費到位率=已到位經(jīng)費/應(yīng)撥付項目活動總經(jīng)費*100%經(jīng)費執(zhí)行率=實際使用的經(jīng)費/計劃中預(yù)算經(jīng)費*100%6)其他：針對組織：機構(gòu)、網(wǎng)絡(luò)建設(shè)、部門合作、政策制定、環(huán)境開發(fā)等等（查閱文件、會議資料等）7/1/2023呂書紅，中國CDC健康教育所4、督導(dǎo)常用的資料收集方法（1）聽取匯報聽取所督導(dǎo)的各級項目執(zhí)行單位的項目工作匯報。

7/1/2023呂書紅，中國CDC健康教育所（2）查閱檔案資料有無完整的，分類明確的檔案資料：有關(guān)項目文件：如項目計劃、實施方案，是否有相應(yīng)的評價方案等；有無相關(guān)政策文件：有關(guān)活動記錄：干預(yù)活動記錄、培訓(xùn)班檔案資料、宣傳材料的印制收發(fā)記錄經(jīng)費使用財務(wù)檔案：各項支出查閱衛(wèi)生機構(gòu)、結(jié)防所的就診記錄和治療記錄7/1/2023呂書紅，中國CDC健康教育所（3）小組或個人訪談有關(guān)項目人員小組訪談：了解項目實施的具體情況，存在的問題和建議村醫(yī)和合作部門宣傳員的個人或小組訪談

目標對象的小組或個人訪談7/1/2023呂書紅，中國CDC健康教育所（4）現(xiàn)場觀察觀察村醫(yī)或宣傳員如何開展宣傳活動村中有無結(jié)核病防治墻體標語，有無張貼招貼畫，如何張貼；村民家中有無相應(yīng)的材料。7/1/2023呂書紅，中國CDC健康教育所（5）半定量調(diào)查如果已知目標人群在200人以上，可以按照隨機抽樣的原則1次抽取29人作為調(diào)查樣本。根據(jù)29人中陰性數(shù)（d）值，查固定樣本量陽性率判斷分級表，估計目標人群的陽性率。來對實施效果如目標受眾對傳播的核心信息的知曉情況進行粗略的評價。

7/1/2023呂書紅，中國CDC健康教育所督導(dǎo)程序1、準備：了解督導(dǎo)目的、人員組成、時間要求熟悉當?shù)鼗厩闆r和結(jié)核病流行的情況、目標人群項目實施方案和工作計劃預(yù)先閱讀一些報告和資料了解項目進展準備督導(dǎo)資料：督導(dǎo)內(nèi)容、訪談提綱、測試問卷7/1/2023呂書紅，中國CDC健康教育所2、現(xiàn)場聽取匯報座談討論項目實施中的問題（縣）查看檔案資料：會議、培訓(xùn)記錄、文件、傳播活動開展的資料（縣、村）個人（或小組）訪談：村醫(yī)、婦女干部：了解接受培訓(xùn)情況、接受的材料和分發(fā)的情況、在村里開展結(jié)核病宣傳教育的情況，存在的問題和建議等；村民：接受健康教育的情況，意見建議7/1/2023呂書紅，中國CDC健康教育所2、現(xiàn)場問卷測試：相關(guān)信息的知曉情況觀察：村醫(yī)和婦女干部等咨詢交流技巧村里傳播材料的使用情況（張貼等）查閱轉(zhuǎn)診、督導(dǎo)記錄（村醫(yī)）查閱縣結(jié)防機構(gòu)的有關(guān)就診記錄、患者的管理登記表等7/1/2023呂書紅，中國CDC健康教育所3、匯總整理督導(dǎo)意見，現(xiàn)場口頭反饋書面反饋7/1/2023呂書紅，中國CDC健康教育所督導(dǎo)的一般程序

分析

息

督導(dǎo)前準備

接受督導(dǎo)單位匯報

現(xiàn)場考察、收集信息

核實、分析信息

產(chǎn)出評價、建議提綱

現(xiàn)場反饋

撰寫和反饋

督

導(dǎo)

報

告

7/1/2023呂書紅，中國CDC健康教育所三、如何開展效應(yīng)評價（近中期效果評價）對健康教育/健康促進計劃實施后所導(dǎo)致的目標人群健康相關(guān)行為及其影響因素（傾向因素、促成因素、強化因素）變化的評價7/1/2023呂書紅，中國CDC健康教育所1、評價內(nèi)容：目標人群知識、信念、態(tài)度、價值觀的變化（傾向因素）政策環(huán)境服務(wù)技術(shù)方面的變化（促成因素）與目標人群密切相關(guān)者對目標人群采納健康行為的支持程度的變化（強化因素）目標人群行為的變化7/1/2023呂書紅，中國CDC健康教育所效應(yīng)評價的指標衛(wèi)生知識均分=受調(diào)查者知識得分之和/被調(diào)查者總?cè)藬?shù)知識合格率=衛(wèi)生知識達到合格標準人數(shù)/被調(diào)查者總?cè)藬?shù)*100%某**知識知曉率=知曉某條知識的人數(shù)/被調(diào)查者總?cè)藬?shù)*100%衛(wèi)生知識總知曉率=被調(diào)查者知曉知識總題數(shù)/被調(diào)查人數(shù)*題數(shù)7/1/2023呂書紅，中國CDC健康教育所效應(yīng)評價的指標信念持有率=持有某種信念的人數(shù)/被調(diào)查人數(shù)*100%行為流行率（持有率）=有特定行為的人數(shù)/被調(diào)查總?cè)藬?shù)*100%行為改變率=在一定時期內(nèi)改變某行為的人/開始時有該行為的人數(shù)*100%政策法規(guī)的出臺數(shù)環(huán)境服務(wù)條件的改善指標如：提供免費胸片（痰檢）檢查的鄉(xiāng)衛(wèi)生院比例足額提供鄉(xiāng)村醫(yī)生督導(dǎo)管理費用的縣比例為疑似肺結(jié)核患者到結(jié)防所檢查提供交通費用的縣的比例7/1/2023呂書紅，中國CDC健康教育所效應(yīng)評價的方法定量問卷調(diào)查：目標人群抽樣調(diào)查1、直接與項目預(yù)期的目標比較：了解在項目結(jié)束這個時點上目標人群的知信行情況并判斷其與項目目標的符合程度。7/1/2023呂書紅，中國CDC健康教育所2、同一人群項目實施前后的效果比較

不設(shè)對照組，在項目實施前和項目結(jié)束時，按照一定的抽樣原則，抽取部分目標人群使用相同的問卷按照相同的調(diào)查方法進行調(diào)查。分析比較項目實施前后目標人群有關(guān)指標的情況反映項目實施的效果。7/1/2023呂書紅，中國CDC健康教育所3、設(shè)對照組的項目實施前后效果評價將項目未覆蓋的鄉(xiāng)鎮(zhèn)作為對照組比較項目覆蓋與未覆蓋鄉(xiāng)鎮(zhèn)在項目實施前后相關(guān)指標的變化情況。如果選擇的項目未覆蓋鄉(xiāng)鎮(zhèn)在其他條件上和項目鄉(xiāng)鎮(zhèn)基本一樣，那么比較的結(jié)果的差異基本可認為是項目實施的效果。7/1/2023呂書紅，中國CDC健康教育所四、結(jié)局評價評價健康狀況和生活質(zhì)量指標：肺結(jié)核發(fā)病率、患病率、死亡率、疾病負擔、期望壽命、生活滿意度等等五、總結(jié)評價綜合的概括，反映成功與不足7/1/2023呂書紅，中國CDC健康教育所評價什么指標評價對象資料來源評價類型總體目標（目的）健康狀況、疾病流行率總?cè)巳耗繕巳巳撼闃诱{(diào)查、數(shù)據(jù)統(tǒng)計報表結(jié)局評價具體目標知識、信念、行為、技能目標人群問卷、觀察、技能競賽效應(yīng)評價活動執(zhí)行情況、滿意度項目人員、目標人群記錄、文件、觀察、訪談過程評價7/1/2023呂書紅，中國CDC健康教育所