詞法分析器課程設(shè)計(jì)報(bào)告

PAGE2010學(xué)年第二學(xué)期《編譯原理》課程設(shè)計(jì)報(bào)告學(xué)院（系）：班級(jí)：學(xué)生姓名：學(xué)號(hào):指導(dǎo)教師：時(shí)間：2010年6月目錄1.課程設(shè)計(jì)的目的 12．課程設(shè)計(jì)的內(nèi)容及要求 12.1.課程設(shè)計(jì)內(nèi)容 1.課程設(shè)計(jì)要求 22.3.運(yùn)行環(huán)境 32.4.程序的不足 33．問(wèn)題分析及相關(guān)原理介紹 33.1.編譯程序介紹 3．各部分的功能介紹及分析 33.3.算法實(shí)現(xiàn)及模擬 4總體流程圖 4詳細(xì)的流程圖 54．設(shè)計(jì)思路及關(guān)鍵問(wèn)題的解決方法 74.1.設(shè)計(jì)思路及關(guān)鍵問(wèn)題 7處理時(shí)機(jī) 7一個(gè)棘手問(wèn)題 84.2.解決方法 85．結(jié)果及測(cè)試分析 85.1.待分析程序的部分內(nèi)容 85.2.運(yùn)行結(jié)果 96．總結(jié) 106.1.設(shè)計(jì)過(guò)程 106.2.困難與收獲 11參考文獻(xiàn) 11附錄 11

1.課程設(shè)計(jì)的目的通過(guò)課程設(shè)計(jì)實(shí)踐，樹(shù)立正確的設(shè)計(jì)思想，鞏固所學(xué)編程語(yǔ)言基本知識(shí)，增進(jìn)C語(yǔ)言編輯基本功；綜合運(yùn)用所學(xué)的理論知識(shí)，進(jìn)一步理解高級(jí)語(yǔ)言在計(jì)算機(jī)中的執(zhí)行過(guò)程，加深對(duì)編譯原理中重點(diǎn)算法和編譯技術(shù)的理解；掌握課程設(shè)計(jì)的一般方法與步驟，深入掌握課程設(shè)計(jì)的基本理論、方法和步驟，提高自己的編程能力，培養(yǎng)好的程序設(shè)計(jì)風(fēng)格。通過(guò)課程設(shè)計(jì)，真正掌握設(shè)計(jì)和構(gòu)造編譯程序的基本原理和常用的編譯技術(shù)，具備系統(tǒng)軟件調(diào)試能力和開(kāi)發(fā)能力，培養(yǎng)分析問(wèn)題和解決問(wèn)題的能力。同時(shí)通過(guò)某種編程語(yǔ)言的應(yīng)用，具備初步的Windows環(huán)境下的編程思想。完成本課程設(shè)計(jì)的項(xiàng)目——詞法分析器，理解詞法分析在編譯程序中的作用，加深對(duì)有窮自動(dòng)機(jī)模型的理解，掌握詞法分析程序的實(shí)現(xiàn)方法和技術(shù)，用c語(yǔ)言對(duì)一個(gè)簡(jiǎn)單語(yǔ)言的子集編制一個(gè)一遍掃描的編譯程序，以加深對(duì)編譯原理的理解,掌握編譯程序的實(shí)現(xiàn)方法和技術(shù)。2．課程設(shè)計(jì)的內(nèi)容及要求2.設(shè)計(jì)內(nèi)容：完成下述文法所描述的單詞符號(hào)的詞法分析程序。<標(biāo)識(shí)符>--><字母>|<標(biāo)識(shí)符><字母>|<標(biāo)識(shí)符><數(shù)字><無(wú)符號(hào)整數(shù)>--><數(shù)字>|<無(wú)符號(hào)整數(shù)><數(shù)字><分界符>-->+|-|*|/|;|(|)|{|}|<|<=|==|!=|>=|>|=|<空格><字母>-->a|…|z|A|…|Z<數(shù)字>-->0|…|9運(yùn)用C語(yǔ)言設(shè)計(jì)詞法分析器，由指定文件讀入預(yù)分析的源程序，經(jīng)過(guò)詞法分析器的分析，將結(jié)果寫(xiě)入指定文件。本程序是在VisualStudio環(huán)境下，使用C語(yǔ)言作為開(kāi)發(fā)工具?；趯?shí)驗(yàn)任務(wù)的內(nèi)容及目的，實(shí)現(xiàn)初步的需求分析，具備詞法分析器的基本功能和整體構(gòu)架。逐步細(xì)化其功能，做到相應(yīng)模塊的具體化。畫(huà)出未成熟的流程圖，確定整體設(shè)計(jì)的走向，在一定范圍內(nèi)約束編程活動(dòng)，確保沒(méi)有大的問(wèn)題及缺陷存在，然后通過(guò)將來(lái)的具體的編程設(shè)計(jì)完善流程圖。程序設(shè)計(jì)的具體內(nèi)容：在實(shí)際的設(shè)計(jì)中，預(yù)分析程序保存在文本文件t中，該文件不能由執(zhí)行程序自動(dòng)創(chuàng)建，需要在程序執(zhí)行前預(yù)先提供，程序擁有只讀的權(quán)限。程序逐個(gè)字符的分析源程序，能夠識(shí)別標(biāo)識(shí)符，整數(shù)，分界符，并分別把分析得到的字符寫(xiě)入相應(yīng)文檔：keyword，words，digit，single，double；其它字符標(biāo)示為無(wú)法識(shí)別，記錄在error文檔中。程序結(jié)束后，將最總結(jié)果寫(xiě)入文件Dualistic_formula，該文件的內(nèi)容包括統(tǒng)計(jì)結(jié)果（排除重復(fù)出現(xiàn)的字符）和二元式。這七個(gè)文件會(huì)在程序執(zhí)行時(shí)自動(dòng)創(chuàng)建，程序結(jié)束時(shí)，關(guān)閉文件，但保留文件的內(nèi)容，以供查看和檢驗(yàn)，測(cè)試。不同類(lèi)別的字符通過(guò)相應(yīng)的函數(shù)模塊來(lái)分析識(shí)別。普通標(biāo)識(shí)符由函數(shù)intword（charch）來(lái)識(shí)別，并進(jìn)一步由函數(shù)intkeyword（charkey[]）來(lái)分離普通標(biāo)識(shí)符和關(guān)鍵字；數(shù)字有函數(shù)intdigit（charch）來(lái)識(shí)別；分界符由函數(shù)intdelimiter（charch）來(lái)識(shí)別；其他字符即為非法字符。該程序中，全局變量共有兩個(gè)intcharacters_exist=0和intcountoffinal=0。characters_exist用來(lái)判斷是否是純數(shù)字，countoffinal用來(lái)記錄finalresult函數(shù)執(zhí)行的次數(shù)。統(tǒng)計(jì)主函數(shù)在內(nèi)，總共16個(gè)函數(shù)模塊，除了前面說(shuō)到得識(shí)別字符的函數(shù)外，還有對(duì)文件進(jìn)行操作的函數(shù)，對(duì)數(shù)組操作的函數(shù)和實(shí)現(xiàn)顯示功能的函數(shù)。主函數(shù)中有六個(gè)文件指針，十一個(gè)字符數(shù)組，十個(gè)實(shí)現(xiàn)不同功能的變量。在程序設(shè)計(jì)過(guò)程中及時(shí)注釋?zhuān)奖銖?fù)讀和檢測(cè)。2.必須運(yùn)用C語(yǔ)言設(shè)計(jì)詞法分析器，由指定文件讀入預(yù)分析的源程序，從左至右描源程序的字符串，按照詞法規(guī)則（正則文法規(guī)則）識(shí)別出一個(gè)個(gè)正確的單詞，并轉(zhuǎn)換成該單詞相應(yīng)的二元式（種別碼、屬性值）交給語(yǔ)法分析使用。本程序規(guī)定輸出用KeyWord代表關(guān)鍵字，Word代表普通標(biāo)識(shí)符，Digit代表阿拉伯?dāng)?shù)字，SingleWord代表單分界符，DoubleWord代表雙分界符，ERROR代表無(wú)法別的字符。了解和掌握詞法分析的方法；編程實(shí)現(xiàn)給定源語(yǔ)言程序的詞法分析器；利用該分析器掃描源語(yǔ)言程序的字符串，按照給定的詞法規(guī)則，識(shí)別出單詞符號(hào)作為輸出，發(fā)現(xiàn)其中的詞法錯(cuò)誤。不同類(lèi)別的字符通過(guò)相應(yīng)的函數(shù)模塊來(lái)分析識(shí)別。針對(duì)該程序設(shè)計(jì)的具體設(shè)計(jì)：編程實(shí)現(xiàn)一個(gè)簡(jiǎn)單的詞法分析器，可以對(duì)一個(gè)文件進(jìn)行詞法分析處理。程序能夠正確識(shí)別文法所規(guī)定的任何組織形式的字符組合。例如在連續(xù)的分界符中，如何分離出單分界符和雙分界符；字符中間的空格如何處理，源程序中往往出現(xiàn)大量連續(xù)的空格，若是全部記錄下來(lái)，沒(méi)用實(shí)際意義，且又浪費(fèi)時(shí)間和空間，這樣又如何處理；普通標(biāo)識(shí)符和關(guān)鍵字如何分離出來(lái)；數(shù)字如何判斷，形如123，a123，123a，123=，=123，123#，#123的字符串中，哪些才是整數(shù)，其它的又如何舍去。這些功能都必須實(shí)現(xiàn)。標(biāo)識(shí)符是被分界符分開(kāi)的，只有在遇到分界符時(shí)才能判斷前面的字符串是否是標(biāo)識(shí)符；假若非法字符和字母或數(shù)字混雜在一起，則這些字母或數(shù)字不能形成標(biāo)識(shí)符或整數(shù)；這個(gè)問(wèn)題并不復(fù)雜，當(dāng)出現(xiàn)連續(xù)的分界符時(shí)，棘手的問(wèn)題才出現(xiàn)。形如!<==-a,這個(gè)分界符字符串該如何分析呢？第一個(gè)字符！是單分界符，那么是不是當(dāng)讀到！時(shí)就可以立即判斷這是一個(gè)單分界符呢？不能，因?yàn)檫€有形如字符串！=的可能性，這樣一來(lái)詞法分析器必須擁有展望未來(lái)的能力；那么<是不能判斷為單分界符的，因?yàn)?，字符組合<=是雙分界符；問(wèn)題出現(xiàn)了，字符組合==是雙分界符，還是單獨(dú)的認(rèn)為第二個(gè)=是單分界符，這就決定與規(guī)定了；既然在讀到單分界時(shí)不能立即判斷其具體歸類(lèi)，那么當(dāng)讀到字符–后，還需要進(jìn)一步讀字符a，然后才能判斷字符–是否是單分界符，這樣一來(lái)，就需要在遇到字母或數(shù)字時(shí)，進(jìn)行對(duì)前面的分界符的判斷，這時(shí)又需要退兩步來(lái)分析，也就是需要分析字符a前面的兩個(gè)字符才能判斷字符a前面的一個(gè)字符是什么屬性；這就是說(shuō)，出現(xiàn)連續(xù)的分界符時(shí)，需要尾隨的其他類(lèi)的字符來(lái)輔助，以判斷分界符的具體屬性；可是，如果沒(méi)有其他字符尾隨呢，最好的一個(gè)分界符該如何處理？還有，如果標(biāo)識(shí)符同樣沒(méi)有其他字符尾隨，又該如何處理？分析得到的字符，需要寫(xiě)入文件，保存以供后用。重復(fù)出現(xiàn)的字符不能都作為最后結(jié)果存儲(chǔ)。這些多余的字符是在分析時(shí)舍去還是在整個(gè)源程序被分析完畢后才進(jìn)一步處理舍的去問(wèn)題？可以把讀到的所有合法字符（出去連續(xù)出現(xiàn)的大量空格）暫時(shí)保存到相關(guān)文件，待分析源程序完畢后，在處理這些文件中的合法字符，舍去重復(fù)的，把正確合適的數(shù)據(jù)寫(xiě)入到另一個(gè)文件，形成二元式，該文件才是最后結(jié)果。程序在實(shí)現(xiàn)基本功能的同時(shí)，以上提出的問(wèn)題必須小心處理。在程序設(shè)計(jì)過(guò)程中需要及時(shí)注釋。首先整體把握程序設(shè)計(jì)的架構(gòu)和內(nèi)涵，理清需求，得到雛形的流程圖；完成程序編程，滿足前述功能，實(shí)現(xiàn)數(shù)據(jù)的輸入和正確輸出。2.此法分析器的設(shè)計(jì)和運(yùn)行環(huán)境：MicrosoftWindowsXPProfessional/MicrosoftVisualStudio2005/VisualC++控制臺(tái)應(yīng)用程序。2.4.程序的不足本程序只能分析小型的源程序，否則將會(huì)出現(xiàn)空間分配不足；能夠分析的字符串的長(zhǎng)度有限，否則，也會(huì)出現(xiàn)空間問(wèn)題。另外，變量反復(fù)使用，不利于閱讀。反復(fù)出現(xiàn)“fopen”被聲明為否決的這樣的警告信息。程序冗長(zhǎng)，未能充分利用C函數(shù)庫(kù)的功能函數(shù)。3．問(wèn)題分析及相關(guān)原理介紹3.1.編譯程序介紹本詞法分析器，預(yù)分析程序保存在文本文件t中，該文件不能由執(zhí)行程序自動(dòng)創(chuàng)建，需要在程序執(zhí)行前預(yù)先提供，程序擁有只讀的權(quán)限。程序逐個(gè)字符的分析源程序，能夠識(shí)別標(biāo)識(shí)符，整數(shù)，分界符，并分別把分析得到的字符寫(xiě)入相應(yīng)文檔：keyword，words，digit，single，double；其它字符標(biāo)示為無(wú)法識(shí)別，記錄在error文檔中。程序結(jié)束后，將最總結(jié)果寫(xiě)入文件Dualistic_formula，該文件的內(nèi)容包括統(tǒng)計(jì)結(jié)果（排除重復(fù)出現(xiàn)的字符）和二元式。這七個(gè)文件會(huì)在程序執(zhí)行時(shí)自動(dòng)創(chuàng)建，程序結(jié)束時(shí)，關(guān)閉文件，但保留文件的內(nèi)容，以供查看和檢驗(yàn)，測(cè)試。不同類(lèi)別的字符通過(guò)相應(yīng)的函數(shù)模塊來(lái)分析識(shí)別。普通標(biāo)識(shí)符由函數(shù)intword（charch）來(lái)識(shí)別，并進(jìn)一步由函數(shù)intkeyword（charkey[]）來(lái)分離普通標(biāo)識(shí)符和關(guān)鍵字；數(shù)字有函數(shù)intdigit（charch）來(lái)識(shí)別；分界符由函數(shù)intdelimiter（charch）來(lái)識(shí)別；其他字符即為非法字符。該程序中，全局變量共有兩個(gè)intcharacters_exist=0和intountoffinal=0。characters_exist用來(lái)判斷是否是純數(shù)字，countoffinal用來(lái)記錄finalresult函數(shù)執(zhí)行的次數(shù)。統(tǒng)計(jì)主函數(shù)在內(nèi)，總共16個(gè)函數(shù)模塊，除了前面說(shuō)到得識(shí)別字符的函數(shù)外，還有對(duì)文件進(jìn)行操作的函數(shù)，對(duì)數(shù)組操作的函數(shù)和實(shí)現(xiàn)顯示功能的函數(shù)。主函數(shù)中有六個(gè)文件指針，十一個(gè)字符數(shù)組，十個(gè)實(shí)現(xiàn)不同功能的變量。在程序設(shè)計(jì)過(guò)程中及時(shí)注釋?zhuān)奖銖?fù)讀和檢測(cè)。通過(guò)while循環(huán)和fgetc（FILE*fp）實(shí)現(xiàn)對(duì)字符的逐個(gè)讀入。3.2．各部分的功能介紹及分析各函數(shù)及功能說(shuō)明intword(charch)/*判斷是否為字母*/intdigit(charch)/*判斷是否為數(shù)字*/intdelimiter(charch)/*判斷是否是分界符*/intkeywordcompare(charkey[],charkeyword[])/*比較關(guān)鍵字*/intkeyword(charkey[])/*判斷是否是關(guān)鍵字*/voidwritetofile(charcha[])/*將數(shù)組cha[]寫(xiě)入文件Dualistic_formula*/voidkeywordtofile(charcha[])/*將關(guān)鍵字寫(xiě)入文件keyword*/voidwordstofile(charcha[])/*將標(biāo)識(shí)符寫(xiě)入文件words*/voiddigittofile(charcha[])/*將數(shù)字寫(xiě)入文件digit*/voidsingletofile(charcha[])/*將單分界符寫(xiě)入文件single*/voiddoubletofile(charcha[])/*將雙分界符寫(xiě)入文件double*/voiderrortofile(charcha[])/*將非法字符寫(xiě)入文件error*/voiddisplayw(charch,charcha[])/*立即顯示遇到的字符*//*顯示統(tǒng)計(jì)信息并將二元式寫(xiě)入文件Dualistic_formula*/voidfinalresult(intdf,charfilen[],FILE*fpp,FILE*fpt)voidcleararray(intn,charcha[])/*清空數(shù)組*/3.3.算法實(shí)現(xiàn)及模擬3.總體流程圖流程圖1讀入源文件有函數(shù)intfgetc(FILE*FILE)實(shí)現(xiàn)，文件是否結(jié)束及循環(huán)讀入字符由while循環(huán)實(shí)現(xiàn)，while(!feof(fpr))，其中fpr=fopen("sourcecode.txt","r")為存放源程序的文本文件。判斷字符類(lèi)別由五個(gè)函數(shù)實(shí)現(xiàn)：intword(charch)/*判斷是否為字母*/intdigit(charch)/*判斷是否為數(shù)字*/intdelimiter(charch)/*判斷是否是分界符*/intkeywordcompare(charkey[],charkeyword[])/*比較關(guān)鍵字*/intkeyword(charkey[])/*判斷是否是關(guān)鍵字*/存儲(chǔ)或顯示由八個(gè)函數(shù)實(shí)現(xiàn)：voidwritetofile(charcha[])voidkeywordtofile(charcha[])voiddigittofile(charcha[])voidsingletofile(charcha[])voiddoubletofile(charcha[])voiderrortofile(charcha[])voiddisplayw(charch,charcha[])voidfinalresult(intdf,charfilen[],FILE*fpp,FILE*fpt)3.詳細(xì)的流程圖如下：流程圖2，流程圖3流程圖2流程圖34．設(shè)計(jì)思路及關(guān)鍵問(wèn)題的解決方法4.4.處理時(shí)機(jī)確定算法的基本任務(wù)是從字符串表示的源程序中識(shí)別出具有獨(dú)立意義的單詞符號(hào)，其基本思想是根據(jù)掃描到單詞符號(hào)的種類(lèi)，分別存儲(chǔ)或顯示。數(shù)字和標(biāo)識(shí)符被分界符或非法字符分開(kāi)，分界符同樣被數(shù)字或標(biāo)識(shí)符或非法字符分開(kāi)，當(dāng)非法字符與數(shù)字或標(biāo)識(shí)符鄰接或混雜時(shí)，數(shù)字或標(biāo)識(shí)符則不能成為數(shù)字或標(biāo)識(shí)符，而成為非法字符，這是非法字符的感染特性。但這個(gè)效果在遇到分界符時(shí)不起作用，既分界符遇到非法字符或者和非法字符混雜，分界符仍然為分界符。這就要求，如果要處理標(biāo)識(shí)符，就必須在遇到后面的分界符時(shí)才能有所操作。4.一個(gè)棘手問(wèn)題數(shù)字同樣如此。遇到數(shù)字或標(biāo)識(shí)符同樣需要處理前面的分界符，但并不是所有的分解都必須在遇到數(shù)字或標(biāo)識(shí)符后才能處理的。例如出現(xiàn)連續(xù)的分界符時(shí)。當(dāng)出現(xiàn)連續(xù)的分界符時(shí)，棘手的問(wèn)題才出現(xiàn)。形如!<==-a,這個(gè)分界符字符串該如何分析呢？第一個(gè)字符！是單分界符，那么是不是當(dāng)讀到！時(shí)就可以立即判斷這是一個(gè)單分界符呢？不能，因?yàn)檫€有形如字符串！=的可能性，這樣一來(lái)詞法分析器必須擁有展望未來(lái)的能力；那么<是不能判斷為單分界符的，因?yàn)?，字符組合<=是雙分界符；問(wèn)題出現(xiàn)了，字符組合==是雙分界符，還是單獨(dú)的認(rèn)為第二個(gè)=是單分界符，這就決定與規(guī)定了；既然在讀到單分界時(shí)不能立即判斷其具體歸類(lèi)，那么當(dāng)讀到字符–后，還需要進(jìn)一步讀字符a，然后才能判斷字符–是否是單分界符，這樣一來(lái)，就需要在遇到字母或數(shù)字時(shí)，進(jìn)行對(duì)前面的分界符的判斷，這時(shí)又需要退兩步來(lái)分析，也就是需要分析字符a前面的兩個(gè)字符才能判斷字符a前面的一個(gè)字符是什么屬性；這就是說(shuō)，出現(xiàn)連續(xù)的分界符時(shí)，需要尾隨的其他類(lèi)的字符來(lái)輔助，以判斷分界符的具體屬性；可是，如果沒(méi)有其他字符尾隨呢，最好的一個(gè)分界符該如何處理？還有，如果標(biāo)識(shí)符同樣沒(méi)有其他字符尾隨，又該如何處理？4.可以用一個(gè)變量來(lái)標(biāo)示前面是否出現(xiàn)雙分界符。同樣，用不同的變量實(shí)現(xiàn)不同的功能。下面是本程序的一些功能變量。charch;/*接受從文件中讀出的單個(gè)字符*/intunknown=0;/*判斷是否出現(xiàn)無(wú)法識(shí)別的字符*/intnumofword=0;/*字母數(shù)組中的字母?jìng)€(gè)數(shù)*/intnumofdigit=0;/*數(shù)字?jǐn)?shù)組中的數(shù)字個(gè)數(shù)*/intnumofsingle=0;/*連續(xù)出現(xiàn)的單分界符個(gè)數(shù)*/intcatchdoubleword=0;/*是否出現(xiàn)雙分界符*/intenddelimit=10;/*末尾是否存在分界符*/intnumofspace=0;/*限制遇到過(guò)多的空格*/5．結(jié)果及測(cè)試分析5.1.待分析程序的部分內(nèi)容如圖4.該待分析源程序非任何編程語(yǔ)言，但完全滿足測(cè)試需要。 圖45.2.運(yùn)行結(jié)果如圖5.圖5 由此可見(jiàn)，程序運(yùn)行及結(jié)果輸出是完全正確的！6．總結(jié)通過(guò)課程設(shè)計(jì)，樹(shù)立了正確的設(shè)計(jì)思想，鞏固了所學(xué)編程語(yǔ)言基本知識(shí)，增進(jìn)C語(yǔ)言編程基本功；學(xué)習(xí)到如何綜合運(yùn)用所學(xué)的理論知識(shí)，進(jìn)一步理解到高級(jí)語(yǔ)言在計(jì)算機(jī)中的執(zhí)行過(guò)程，加深了對(duì)編譯原理中重點(diǎn)算法和編譯技術(shù)的理解，理解詞法分析在編譯程序中的作用；掌握了課程設(shè)計(jì)的一般方法與步驟，設(shè)計(jì)和構(gòu)造編譯程序的基本原理和常用的編譯技術(shù)，以及編譯程序的實(shí)現(xiàn)方法和技，提高了自己的編程能力。6.1.設(shè)計(jì)過(guò)程首先，根據(jù)課程設(shè)計(jì)的任務(wù)：使用c語(yǔ)言編程，實(shí)現(xiàn)詞法分析器的基本功能，來(lái)確定本次程序設(shè)計(jì)的總體目標(biāo)及路線。詳細(xì)閱讀課程設(shè)計(jì)的內(nèi)容及要求，明確接下來(lái)的大致作業(yè)。進(jìn)一步，規(guī)劃算法，描繪出初步的，總體的流程圖。然后，結(jié)合編譯原理相關(guān)書(shū)籍，理解程序系統(tǒng)的基本原理。結(jié)合c語(yǔ)言相關(guān)書(shū)籍，具體細(xì)化程序設(shè)計(jì)的思路，粗略確定程序的模塊劃分，功