立法后評估中問卷調(diào)查方法的運(yùn)用

立法后評估中問卷調(diào)查方法的運(yùn)用

作為提高立法效率的重要手段，立法后的評價已成為近年來的主要立法活動。為提高評估的客觀性和真實性,各地都在立法后評估中引入了不少量化評估的方法,而問卷調(diào)查法因其成本較低、技術(shù)難度較小等特點,成為評估活動中最為重要的量化方法。就其功能來看,問卷調(diào)查法將抽象的法律實施概念轉(zhuǎn)化為人們可直觀感受的社會經(jīng)驗一、通過抽樣方式確保調(diào)查對象的代表性和經(jīng)典抽樣是問卷調(diào)查的靈魂,基于評估活動的成本限制,在多數(shù)情況下進(jìn)行普查既是不現(xiàn)實的也是不必要的。在此情況之下,必須通過有效的抽樣來確保調(diào)查對象的代表性和典型性。從其原理來看,抽樣的核心步驟有二,一是抽樣的方法選擇,二是樣本量的計算(一)采用定額抽樣方法進(jìn)行問卷統(tǒng)計抽樣的方法大致可以分為隨機(jī)抽樣和非隨機(jī)抽樣兩大類型,現(xiàn)實中使用較多的抽樣方法主要有以下幾種:(1)簡單隨機(jī)抽樣(simplerandomsampling)。該方法的核心要求是在每一次抽取時都要保證在總體中未被抽取的任一樣本被抽中的機(jī)會是相等的從廣州市的實際情況來看,其首先將調(diào)查對象分為了管理部門、管理相對人、人大代表及政協(xié)委員,以及社會公眾四類,并根據(jù)此分類采取了兩種不同的抽樣方法,具體而言:(1)對社會公眾的調(diào)查,采取了偶遇抽樣的方法。公眾的調(diào)查以網(wǎng)絡(luò)調(diào)查的形式進(jìn)行,而網(wǎng)絡(luò)空間的開放性和匿名性決定了調(diào)查者不可能進(jìn)行事前的大規(guī)模抽樣,只能采取偶遇抽樣的方法,隨機(jī)調(diào)查公眾意見。從其實效來看,該方法雖然覆蓋面較廣,但如果樣本量不夠大的話,就會面臨著巨大的數(shù)據(jù)誤差。為此,有必要在日后的網(wǎng)絡(luò)調(diào)查中添加必需的背景信息收集模塊,以便于后期對問卷數(shù)據(jù)的清洗和選取,提高網(wǎng)絡(luò)問卷樣本的代表性。(2)對管理部門、管理相對人、人大代表及政協(xié)委員等三類群體調(diào)查,采取了定額抽樣的方法。從形式上來看,以上三類群體的劃分即為“分層抽樣”的過程,但嚴(yán)格來說,這樣的劃分并非是分層的結(jié)果,而是對利益相關(guān)者的分類方法。在此基礎(chǔ)上,按照定額抽樣的要求,調(diào)查者會分別從三類主體中選擇合適數(shù)量的樣本進(jìn)行調(diào)查,而這一選擇過程主要通過調(diào)查者的指定以及單位推選的方式加以完成。這種在不完全的分層之下憑主觀判斷抽樣樣本的方式,嚴(yán)格來說只是定額抽樣的簡單形態(tài),與完全的分層隨機(jī)抽樣方式相比,尚有較大差距。當(dāng)然,由于此種方法易于操作且成本較低,實踐中也應(yīng)用得非常頻繁,但對其帶來的數(shù)據(jù)誤差,調(diào)查者應(yīng)有清醒認(rèn)識和相應(yīng)的控制措施。(二)樣本量波動抽樣的規(guī)模是決定問卷調(diào)查信度和準(zhǔn)確度的核心要素。一般而言,樣本的規(guī)模取決于其所要推論的總體規(guī)模,合理的樣本量不應(yīng)過少也不宜太多,因為數(shù)量過少會帶來樣本代表性的不足,而數(shù)量過多則會推高調(diào)查成本。從廣州市的實踐情況來看,樣本量呈現(xiàn)出整體偏少且波動較大的情況,具體而言:第一,樣本量整體偏小。從廣州市歷次立法后評估的數(shù)據(jù)報告來看,在有明確數(shù)據(jù)統(tǒng)計的5次調(diào)查活動中,評估主體分別發(fā)放問卷600、600、700、280、250份。作為對比,在蘇州市38次立法后評估活動中,問卷數(shù)量在1000份以上的就有26次,占68.4%第二,樣本量波動較大。由于廣州市對公眾意見的調(diào)查采取了網(wǎng)絡(luò)問卷調(diào)查的方式,網(wǎng)絡(luò)空間的開放性和匿名性使得最終的樣本數(shù)量無法控制,在不同的宣傳力度之下,最終收集的樣本數(shù)量也會發(fā)生較大的波動。從廣州市歷次公眾問卷的回收情況來看,樣本量最少的調(diào)查只有12份有效問卷,最多的則有6352份,而歷次公眾問卷調(diào)查的中位數(shù)又為725份,樣本之間數(shù)量差距明顯。受其影響,廣州市立法后評估活動中問卷調(diào)查的總體樣本數(shù)量也出現(xiàn)了較大幅度的波動,在《廣州市婦女權(quán)益保障規(guī)定》的立法后評估中,問卷調(diào)查的總樣本量達(dá)到了6426份,而在《廣州歷史文化名城保護(hù)條例》的立法后評估中,樣本量只有158份。樣本數(shù)量的較大波動反映了問卷調(diào)查活動常態(tài)化的工作機(jī)制尚未有效建立,對此,調(diào)查者有必要事先確定樣本量的合理范圍,如果最終收集的樣本量出現(xiàn)較大異常,偏離該合理范圍,調(diào)查者就應(yīng)當(dāng)采取補(bǔ)充調(diào)查的方式來增加樣本量,或者通過數(shù)據(jù)篩選的方式將樣本量穩(wěn)定在成本可控的范圍。那么,樣本量究竟如何估算,多大的樣本量才算合理呢?根據(jù)社會學(xué)中關(guān)于樣本估算的基本方法,樣本量估算首先應(yīng)當(dāng)確立一個初始的樣本量,通過設(shè)置誤差值e和估計值p得到一個初始的樣本量n二、問卷設(shè)計在問卷調(diào)查活動中,抽樣過程只能保障樣本的代表性,而至于選定的樣本是否能夠如實地反映待測事項的真實面貌,則要取決于問卷設(shè)計的質(zhì)量(一)調(diào)查內(nèi)容的抽象化概念操作化和變量測量,其核心就是將抽象的理論和概念轉(zhuǎn)化為可測量和可觀測的具體指標(biāo)的過程。在被調(diào)查對象拿到問卷之前,調(diào)查者事實上已經(jīng)對調(diào)查內(nèi)容進(jìn)行了從抽象到具體的轉(zhuǎn)換,以構(gòu)建起研究的抽象概念和經(jīng)驗測量的現(xiàn)象之間的邏輯聯(lián)系其一,概念的操作化。操作化即是用一系列經(jīng)驗可觀察的指標(biāo)和系統(tǒng)陳述表達(dá)出定義所包含的抽象意義的過程其二,對變量的設(shè)定。所謂變量就是指“包括若干個亞概念、范疇和值的概念”(二)立法后評估問卷的編排作為社會調(diào)查的重要手段,問卷調(diào)查的實質(zhì)是一種特殊的人際交往活動,其與被調(diào)查者互動的目的就是充分收集有利于說明或闡述某種社會現(xiàn)象的材料,所以,問卷調(diào)查的成效即取決于被調(diào)查者是否能夠有效地呈現(xiàn)“立體的”自己其一,問卷內(nèi)容的針對性。作為對被調(diào)查人態(tài)度、觀點和看法的客觀反映,問卷設(shè)計必須具有足夠的針對性才能吸引被調(diào)查對象參與其中,相反,如果問卷題目都讓人很陌生的話,問卷調(diào)查活動就很難達(dá)到預(yù)設(shè)目的。為避免這樣的問題,調(diào)查者應(yīng)預(yù)判被調(diào)查對象能夠感知到的社會經(jīng)驗范圍,并以此來設(shè)計其能力范圍內(nèi)的問卷題目。在廣州市人大的立法后評估實踐中,問卷設(shè)計雖凸顯了一定的針對性,根據(jù)不同群體的自身情況分別設(shè)計了四套不同的調(diào)查問卷,但通過對比,四套問卷中題目重復(fù)的情況非常嚴(yán)重(參見表二),以人大代表及政協(xié)委員卷為例,在九次立法后評估中,該卷與其他三卷重復(fù)率的平均值達(dá)到了45.2%,具體的重復(fù)比例分別為46%、50%、48%、27%、86%、37%、60%、35%、18%(參見圖一)。過多的重復(fù)題目直接影響了調(diào)查的針對性,如果適用于不同群體的問卷有過半的題目都是重復(fù)的,那么進(jìn)行問卷區(qū)分的意義何在?如果問卷不能反映出其所調(diào)查群體的個性,就必然要面對調(diào)查參與度低以及回答敷衍的問題其二,提問的方式。問卷調(diào)查應(yīng)盡量使用簡單和簡短的表述,題目的長度和閱讀的難度都應(yīng)進(jìn)行嚴(yán)格的控制,以避免被調(diào)查者產(chǎn)生畏難和厭煩情緒。從廣州市人大立法后評估的調(diào)查問卷中來看,只有公眾問卷較好地遵守了以上規(guī)則,其余問卷則不同程度地出現(xiàn)了表達(dá)冗長和艱澀的問題,以《廣州市志愿服務(wù)條例》的立法后評估為例,其問卷題目平均長度已經(jīng)達(dá)到了80.2字,相當(dāng)于每題都是一道完整的材料分析題目。當(dāng)然,有人認(rèn)為立法后評估題目的冗長也有其特殊原因,畢竟針對于立法實施情況的調(diào)查不可避免地要涉及對立法條文的引用其三,問題的數(shù)量。問卷中的題目數(shù)量也是影響問卷調(diào)查參與度和完成度的重要因素。一般而言,問題的數(shù)量越多,問卷所覆蓋的內(nèi)容越廣,就越能獲取到被調(diào)查者的真實看法。同時,問題越多,被調(diào)查者填寫的隨機(jī)誤差就越容易被相互抵消,問卷的真實性就將得到提高。所以,在合理的范圍內(nèi),適當(dāng)增加問卷的題目數(shù)量,不僅可以大大提高調(diào)查信度,而且還可以有效提高調(diào)查效度其四,問題的順序。一般而言,在問卷的編排上應(yīng)遵循“由簡到難”的原則,將與受眾生活密切相關(guān)的、較為容易回答的問題放在前面,把容易引起被調(diào)查者緊張、顧慮或疑難的問題放在后面。具體來講,在立法后評估的問卷設(shè)計中,可以先詢問其日?；顒邮芰⒎▽嵤┑挠绊?再進(jìn)一步延伸至其在立法實施中的關(guān)注內(nèi)容,最后再是調(diào)查立法實施過程中的問題,以及其對立法實施整體的意見和看法等。但從廣州的實踐來看,其題目設(shè)置的順序則是以立法中的條文順序為線索,從前至后地提問被調(diào)查者對各條款實施情況的具體態(tài)度,此種排序方法事實上也代表了當(dāng)前多數(shù)地方的慣常做法。之所以出現(xiàn)這樣的情況是因為承擔(dān)立法評估任務(wù)的大多為具有法學(xué)背景的高?？蒲腥藛T或者法律服務(wù)從業(yè)者,囿于知識范圍和實踐經(jīng)驗所限,這一團(tuán)體已經(jīng)習(xí)慣了按照立法論證或者立法審議的方式來設(shè)計立法評估問卷,而這樣的事實已經(jīng)偏離了問卷調(diào)查的出發(fā)點,將普通公眾默認(rèn)為了法學(xué)專家,而滿篇的立法條文和專業(yè)術(shù)語也會極大地打擊被調(diào)查者的興趣和熱情,即使受訪者有意認(rèn)真填寫問卷,也會在做完前幾道專業(yè)題目之后就有了畏難和退縮的情緒,嚴(yán)重影響被調(diào)查者的積極性。三、問卷的分配、檢索和統(tǒng)計數(shù)據(jù)(一)回收率一般而言,問卷的發(fā)放可采取結(jié)構(gòu)訪問法和自填問卷法兩種方式,在結(jié)構(gòu)訪問法中,調(diào)查者將采取口頭訪問的方式,向被調(diào)查者了解和收集信息此外,從回收效率上來看,集中填答和郵寄填答的方式也有著較大的差別。相對而言,集中填答的問卷回收率要遠(yuǎn)遠(yuǎn)高于郵寄填答,在現(xiàn)場填寫的問卷一般是可以全部收回的,而郵寄填答的方式能否順利收回都取決于被調(diào)查者是否足夠配合。當(dāng)然,郵寄問卷回收率低的問題一直是困擾問卷調(diào)查法實效的關(guān)鍵現(xiàn)實問題,如國外社會學(xué)的研究中就指出郵寄調(diào)查的回收率不少都低于10%,能夠達(dá)到50%的回收率就足夠讓人滿意了(二)數(shù)據(jù)統(tǒng)計和描述任何形式的問卷調(diào)查都是針對于特定目的展開的,沒有統(tǒng)計分析就沒有問卷調(diào)查存在的意義。正如有學(xué)者所言,對問卷材料的深度加工才是問卷調(diào)查的核心所在,只有將問卷調(diào)查的分析說明融入立法后評估的具體內(nèi)容之中,才能充分發(fā)揮其信息采集和結(jié)論佐證的作用在問卷統(tǒng)計方面,廣州市人大歷次立法后評估活動的問卷都能滿足基本的統(tǒng)計要求,不論是使用SPSS軟件統(tǒng)計還是人工統(tǒng)計,總之,問卷中所有題目的回答情況都能得到準(zhǔn)確的統(tǒng)計,而且其問卷統(tǒng)計的數(shù)據(jù)還均以直方圖或餅圖的方式在評估報告中進(jìn)行了直觀的呈現(xiàn),使各選項的分布情況一目了然。難能可貴的是,所有問卷中開放性問題的回答情況也均被納入了數(shù)據(jù)統(tǒng)計報告之中,被調(diào)查者的所有回答都被完整地記錄了下來,開放性問題的回答情況雖然無法被量化評價,但是因為這些回答都是被調(diào)查者的主動回答,其實更能反映出社會各界對立法質(zhì)量和實施情況的真實意見和看法,更值得評估者仔細(xì)統(tǒng)計和認(rèn)真對待。在問卷分析方面,我們著重考察了其問卷數(shù)據(jù)在報告正文中的使用方式,以及是否有專門的數(shù)據(jù)分析報告等兩項指標(biāo),并得到了以下結(jié)論:(1)就分析方式而言,早期立法后評估報告中對問卷數(shù)據(jù)的分析方式,呈現(xiàn)出了單題分析和綜合分析擇一而用的特征。但在2015年所進(jìn)行的三次評估中,“二選一”的方式被基本淘汰,而是選擇了同時保留單題分析和綜合分析的方式。其中,單題分析主要出現(xiàn)在對社會各界意見的梳理以及對立法實效的說明中,綜合分析多側(cè)重于對立法“六性”四、回歸問卷的本質(zhì)作為一種專門的社會調(diào)查方法,問卷調(diào)查法的運(yùn)用有著基本的規(guī)則和要求,只有遵守了這些規(guī)則,其結(jié)果才有被應(yīng)用的科學(xué)價值。在立法后評估活動中,只有問卷調(diào)查結(jié)論的信度和效度得到證明,才有可能去佐證評估結(jié)論之客觀性與真實性。綜合上文對廣州市人大立法后評估中問卷調(diào)查活動的實證分析結(jié)果,本文得出了以下結(jié)論與建議。其一,提高調(diào)查者的專業(yè)技能,以解決問卷調(diào)查方法運(yùn)用不當(dāng)?shù)膯栴}。問卷調(diào)查作為社會調(diào)查的一種類型,本屬于社會學(xué)的研究范疇,應(yīng)由具有社會學(xué)背景的專業(yè)人士擔(dān)任。調(diào)查者應(yīng)熟悉問卷調(diào)查理論以及專業(yè)技能,有一定的調(diào)查經(jīng)驗積累,或者進(jìn)行了長期的問卷調(diào)查活動研究。但在立法后評估中,擔(dān)任調(diào)查者的評估主體基本為法律專業(yè)人士或者公共組織人員,在缺乏系統(tǒng)培訓(xùn)的情況下,其有限的社會調(diào)查知識使其無法有效掌握問卷調(diào)查之要領(lǐng)其二,厘清問卷調(diào)查的性質(zhì)與定位,以評測公眾對立法實施的感受和看法為中心。從問卷設(shè)計環(huán)節(jié)來看,調(diào)查者對于“問卷調(diào)查應(yīng)該調(diào)查什么”這一基本問題缺乏清晰認(rèn)識。受此影響,調(diào)查活動缺少了概念操作化與變量測量的過程,使專業(yè)概念在不經(jīng)轉(zhuǎn)換的情況下直接呈現(xiàn)在了問卷上面,并帶來了以下后果:一是問卷內(nèi)容針對性的下降,問卷中所涉及的多數(shù)內(nèi)容已經(jīng)超出了被調(diào)查者可直接感知的經(jīng)驗范圍,使調(diào)查活動的實效大打折扣;二是調(diào)查問卷所覆蓋的信息量不足,問卷題目數(shù)量與調(diào)查者能夠在問卷中獲取的信息量成正比例關(guān)系,在相關(guān)概念未充分展開的情況下,問卷長度就必然會受到影響,通過問卷調(diào)查所能獲取的信息量也將減少;三是問卷調(diào)查參與度降低,題目設(shè)置的順序和題目長度是影響被調(diào)查者參與度的重要因素,以立法條文的前后順序來安排問卷題目順序,以立法條文內(nèi)容作為問卷題目內(nèi)容的做法,將針對社會各界公眾的問卷調(diào)查活動變?yōu)榱嗣嫦蚍▽W(xué)專家的法律論證活動,令被調(diào)查對象難以積極參與其中。對此,調(diào)查者有必要重新思考“問卷設(shè)計為誰設(shè)計”“問卷調(diào)查應(yīng)該問什么”“被調(diào)查者能夠回答什么”等基礎(chǔ)問題,回歸問卷調(diào)查的本真,以評測公眾對立法實施的感受和看法為中心,提高問卷調(diào)查的針對性以及公眾參與問卷調(diào)查的積極性。其三,設(shè)置必要的校驗機(jī)制,避免數(shù)據(jù)誤差的不斷擴(kuò)大。通過對廣州市的實踐分析,可發(fā)現(xiàn)其問卷調(diào)查工作呈現(xiàn)出非常明顯的單線性特征,上一個環(huán)節(jié)的結(jié)束即為下一環(huán)節(jié)的開始,前后銜接過程中沒有任何的校驗與修正機(jī)制,這就導(dǎo)致了上游環(huán)節(jié)中存在的問題會不經(jīng)修改地直接傳遞至下游工作之中,導(dǎo)致問題的加深、累積以及數(shù)據(jù)誤差的不斷擴(kuò)大。依據(jù)系統(tǒng)論的基本觀點,一個系統(tǒng)的發(fā)展能力主要來自于其內(nèi)部的反饋機(jī)制,特別是對負(fù)反饋的回應(yīng)式修正,更是維持系統(tǒng)向特定目標(biāo)運(yùn)行的重要方式其四,擴(kuò)大調(diào)查結(jié)果的運(yùn)用范圍,避免問卷調(diào)查的形式化。作為立法評估的核心素材,問卷調(diào)查結(jié)果在評估活動的各個環(huán)節(jié)都應(yīng)得到充分的使用,尤其是在作出評估結(jié)論時,問卷調(diào)查所獲取的事實材料必須作為觀點提出的基本前提,只有如此,最終的評估結(jié)論才能具有