詞法分析器實(shí)驗(yàn)報(bào)告

1、精品詞法分析器實(shí)驗(yàn)報(bào)告詞法分析器設(shè)計(jì)一、實(shí)驗(yàn)?zāi)康模簩?C 語言的一個(gè)子集設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡單的詞法分析器，掌握利用狀態(tài)轉(zhuǎn)換圖設(shè)計(jì)詞法分析器的基本方法。利用該詞法分析器完成對源程序字符串的詞法分析。輸出形式是源程序的單詞符號(hào)二元式的代碼，并保存到文件中。二、實(shí)驗(yàn)內(nèi)容 ：1. 設(shè)計(jì)原理詞法分析的任務(wù)： 從左至右逐個(gè)字符地對源程序進(jìn)行掃描，產(chǎn)生一個(gè)個(gè)單詞符號(hào)。理論基礎(chǔ)：有限自動(dòng)機(jī)、正規(guī)文法、正規(guī)式詞法分析器 (LexicalAnalyzer)又稱掃描器 (Scanner) ：執(zhí)行詞法分析的程序2. 詞法分析器的功能和輸出形式功能 :輸入源程序、輸出單詞符號(hào)程序語言的單詞符號(hào)一般分為以下五種：關(guān)鍵字、標(biāo)

2、識(shí)符、常數(shù)、運(yùn)算符,界符3. 輸出的單詞符號(hào)的表示形式 :單詞種別用整數(shù)編碼，關(guān)鍵字一字一種，標(biāo)識(shí)符統(tǒng)歸為一種，常數(shù)一種，各種符號(hào)各一種。4. 詞法分析器的結(jié) 構(gòu)感謝下載載精品輸入列表預(yù)處理子程序輸入緩沖區(qū)掃描器掃描緩沖區(qū)單詞符號(hào)5. 狀態(tài)轉(zhuǎn)換圖實(shí)現(xiàn)字符 /數(shù)字開始0字符1其他2*數(shù)字?jǐn)?shù)字3其他4*+-*/# ， .;5<>76字符 /數(shù)字8*錯(cuò)誤9：1011其中 2，4，5，7，8，9， 11 是結(jié)束狀態(tài)錯(cuò)誤12三、程序設(shè)計(jì)1 總體模塊設(shè)計(jì)/* 用來存儲(chǔ)目標(biāo)文件名 */感謝下載載精品stringfile_name;/* 提取文本文件中的信息。 */stringGetText();

3、/* 獲得一個(gè)單詞符號(hào) ,從位置 i 開始查找。并且有一個(gè)引用參數(shù)j，用來返回這個(gè)單詞最后一個(gè)字符在str 的位置。 */string GetWord(string str,int i,int& j);/* 這個(gè)函數(shù)用來除去字符串中連續(xù)的空格和換行int DeleteNull(string str,int i);/* 判斷 i 當(dāng)前所指的字符是否為一個(gè)分界符，是的話返回真，反之假*/bool IsBoundary(string str,int i);/* 判斷 i 當(dāng)前所指的字符是否為一個(gè)運(yùn)算符，是的話返回真，反之假*/bool IsOperation(string str,int i

4、);/* 此函數(shù)將一個(gè) pair 數(shù)組輸出到一個(gè)文件中 */void OutFile(vector<pair<int,string> > v);/* 此函數(shù)接受一個(gè)字符串?dāng)?shù)組，對它進(jìn)行詞法分析，返回一個(gè)pair型數(shù)組感謝下載載精品*/vector<pair<int,string> > analyst(vector<string> vec);/* 此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/bool IsKey(string str);2 各模塊設(shè)計(jì)（1）.首先根據(jù)上面單詞符號(hào)表及ID 和 NUM的正規(guī)定義式，構(gòu)造出

5、狀態(tài)轉(zhuǎn)換圖；（2）.定義相關(guān)的變量和數(shù)據(jù)結(jié)構(gòu)。關(guān)鍵字作為特殊標(biāo)識(shí)符處理，把它們預(yù)先安排在一張表格中（稱為關(guān)鍵字表） ，當(dāng)掃描程序識(shí)別出標(biāo)識(shí)符時(shí)，查關(guān)鍵字表。如能查到匹配的單詞，則該單詞為關(guān)鍵字，否則為一般標(biāo)識(shí)符。關(guān)鍵字表為一個(gè)字符串?dāng)?shù)組，其描述如下：char KEY_WORDS7=main ,int ,char ,if,else ,for ,while ；用以存放單詞符號(hào)二元式的數(shù)據(jù)結(jié)構(gòu)可如下定義：class Word_Analyzerpublic:char ContentMAXLENGTH ;intval ;void print(); ;感謝下載載精品（3）.按照編譯程序一遍掃描的要求，把詞

6、法分析器Scaner 作為一個(gè)獨(dú)立的子程序來設(shè)計(jì)，通過對Scaner 的反復(fù)調(diào)用識(shí)別出所有的單詞符號(hào)；（4）.當(dāng) Scaner 識(shí)別出一個(gè)單詞符號(hào)時(shí)，則將該單詞符號(hào)的二元式寫入到輸出文件中。若Scaner無法識(shí)別出一個(gè)單詞符號(hào)時(shí)，則調(diào)用錯(cuò)誤處理程序PrintError ，顯示當(dāng)前掃描到的字符及其所在行、列位置，并跳過該字符重新開始識(shí)別單詞符號(hào)。四、程序代碼#include <iostream>#include <vector>#include <string>#include <fstream>using namespace std;/* 用來存

7、儲(chǔ)目標(biāo)文件名 */string file_name;/* 提取文本文件中的信息。*/string GetText();/* 獲得一個(gè)單詞符號(hào) ,從位置 i 開始查找。/ 并且有一個(gè)引用參數(shù)j，用來返回這個(gè)單詞最后一個(gè)字符在str 的位置。感謝下載載精品*/string GetWord(string str,int i,int& j);/* 這個(gè)函數(shù)用來除去字符串中連續(xù)的空格和換行/ 第一個(gè)參數(shù)為目標(biāo)字符串，第二個(gè)參數(shù)為開始位置/ 返回值為連續(xù)的空格和換行后的第一個(gè)有效字符在字符串的位置 */ int DeleteNull(string str,int i);/* 判斷 i 當(dāng)前所指的字

8、符是否為一個(gè)分界符，是的話返回真，反之假*/bool IsBoundary(string str,int i);/* 判斷 i 當(dāng)前所指的字符是否為一個(gè)運(yùn)算符，是的話返回真，反之假*/bool IsOperation(string str,int i);/* 此函數(shù)將一個(gè) pair 數(shù)組輸出到一個(gè)文件中 */void OutFile(vector<pair<int,string> > v);/* 次函數(shù)將參數(shù) str,digit添加到 temp中*/void add(string str,int digit,vector<pair<int,string>

9、; > temp);/* 此函數(shù)接受一個(gè)字符串?dāng)?shù)組，對它進(jìn)行詞法分析，返回一個(gè)pair 型數(shù)組 */vector<pair<int,string> > analyst(vector<string> vec);感謝下載載精品/* 此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/bool IsKey(string str);int main()cout<<"*n"cout<<"*編譯原理課程設(shè)計(jì) - 詞法編譯器 ver1.0*n"cout<<"*n&quo

10、t;cout<<endl;string com1=" "string com2="n"string fileline=GetText();int begin=0,end=0;vector<string> array;dobegin=DeleteNull(fileline,begin);string nowString;感謝下載載精品nowString=GetWord(fileline,begin,end);if(end=-1)break;if(nowSpare(com1)&&nowSpare(com2)array.

11、push_back(nowString);begin=end+1;while(true);vector<pair<int,string> > mid_result;mid_result=analyst(array);OutFile(mid_result);cout<<"*n"cout<<"*程序已完成詞法分析，分析結(jié)果已經(jīng)存儲(chǔ)在文件"<<file_name<<"中！*n"cout<<"*n"cout<<"感謝使

12、用，謝謝再見！ "<<endl;system("pause");return 0;/* 提取文本文件中的信息 */感謝下載載精品string GetText()string file_name1;cout<<"請輸入源文件名（包括路徑和后綴名） ："cin>>file_name1;ifstream infile(file_name1.c_str(),ios:in);if (!infile)cerr<<"無法打開文件 ! "<<file_name1.c_str()&l

13、t;<" !"<<endl;exit(-1);cout<<endl;char f1000;infile.getline(f,1000,EOF);infile.close();printf(f);cout<<endl;return f;/* 獲得一個(gè)單詞符號(hào) ,從位置 i 開始查找。/ 并且有一個(gè)引用參數(shù) j，用來返回這個(gè)單詞最后一個(gè)字符在原字符串的位感謝下載載精品置。 */string GetWord(string str,int i,int& j)string no_use("() , ;n+=*/-<&g

14、t;"");j=str.find_first_of(no_use,i);if(j=-1)return ""if(i!=j)j-;return str.substr(i,j-i+1);/* 這個(gè)函數(shù)用來除去字符串中連續(xù)的空格和換行/ 第一個(gè)參數(shù)為目標(biāo)字符串，第二個(gè)參數(shù)為開始位置/ 返回值為連續(xù)的空格和換行后的第一個(gè)有效字符在字符串的位置 */ int DeleteNull(string str,int i)for(;i+)if(stri!=' '&&stri!='n') return i;感謝下載載精品/*

15、判斷 i 當(dāng)前所指的字符是否為一個(gè)分界符，是的話返回真，反之假*/bool IsBoundary(string str,int i)int t;char arr7=',','','','','(',')',':'for (t=0;t<7;t+)if(stri=arrt)return true;return false;/* 判斷 i 當(dāng)前所指的字符是否為一個(gè)運(yùn)算符，是的話返回真，反之假*/bool IsOperation(string str,int i)int t;char

16、arr8='+','-','*','/','=','<','>','&'for (t=0;t<8;t+)if(stri=arrt)return true;return false;感謝下載載精品/* 此函數(shù)將一個(gè)個(gè)字符串?dāng)?shù)組輸出到一個(gè)文件中*/void OutFile(vector<pair<int,string> > v)cout<<"請輸入目標(biāo)文件名（包括路徑和后綴名） ： "cin

17、>>file_name;ofstream outfile(file_name.c_str(),ios:out);if (!outfile)cerr<<"無法打開文件 ! "<<file_name.c_str()<<" !"<<endl;exit(-1);cout<<endl;int i;for(i=0;i<v.size();i+)outfile<<"<"<<vi.first<<" ,""

18、<<vi.second<<"">"<<endl;cout<<"<"<<vi.first<<" , ""<<vi.second<<"">"<<endl;outfile<<"nn*n"outfile.close();感謝下載載精品return;/* 此函數(shù)判斷傳遞的參數(shù)是否為關(guān)鍵字，是的話，返回真，反之返回假*/bool IsKey(

19、string str)string p7="main","int","char","if","else","for","while"vector<string> ppp(p,p+7);int u;for(u=0;u<ppp.size();u+)if(!pare(pppu)return true;return false;/* 此函數(shù)接受一個(gè)字符串?dāng)?shù)組，對它進(jìn)行詞法分析，返回一個(gè)pair 型數(shù)組 */vector<pair<in

20、t,string> > analyst(vector<string> vec)vector<pair<int,string> > temp;int i;for(i=0;i<vec.size();i+)if(veci.size()=1)感謝下載載精品if(veci=">"&&veci+1="=")string jk=veci;jk.append(vec+i,0,1);pair<int,string> pp(37,jk);temp.push_back(pp);contin

21、ue;if(veci="<"&&veci+1="=")string jk=veci;jk.append(vec+i,0,1);pair<int,string> pp(38,jk);temp.push_back(pp);continue;if(veci="="&&veci+1="=")string jk=veci;jk.append(vec+i,0,1);pair<int,string> pp(39,jk);temp.push_back(pp);感謝下載載

22、精品continue;if(veci="!"&&veci+1="=")string jk=veci;jk.append(vec+i,0,1);pair<int,string> pp(40,jk);temp.push_back(pp);continue;if(veci="&"&&veci+1="&")string jk=veci;jk.append(vec+i,0,1);pair<int,string> pp(42,jk);temp.push_b

23、ack(pp);continue;if(veci="|"&&veci+1="|")string jk=veci;jk.append(vec+i,0,1);感謝下載載精品pair<int,string> pp(43,jk);temp.push_back(pp);continue;if(IsBoundary(veci,0)if(veci=",")pair<int,string> pp1(32,veci);temp.push_back(pp1);if(veci="")pair<

24、;int,string> pp2(34,veci);temp.push_back(pp2);if(veci="")pair<int,string> pp3(30,veci);temp.push_back(pp3);if(veci="")感謝下載載精品pair<int,string> pp4(31,veci);temp.push_back(pp4);if(veci="(")pair<int,string> pp5(26,veci);temp.push_back(pp5);if(veci=&quo

25、t;)")pair<int,string> pp6(27,veci);temp.push_back(pp6);if(veci=":")pair<int,string> pp7(33,veci);temp.push_back(pp7);else if(IsOperation(veci,0)感謝下載載精品if(veci="+")pair<int,string> pp8(22,veci);temp.push_back(pp8);if(veci="-")pair<int,string>

26、 pp9(23,veci);temp.push_back(pp9);if(veci="*")pair<int,string> pp10(24,veci);temp.push_back(pp10);if(veci="/")pair<int,string> pp11(25,veci);temp.push_back(pp11);if(veci="=")感謝下載載精品pair<int,string> pp12(21,veci);temp.push_back(pp12);if(veci=">&

27、quot;)pair<int,string> pp13(35,veci);temp.push_back(pp13);if(veci="<")pair<int,string> pp14(36,veci);temp.push_back(pp14);if(veci="&")pair<int,string> pp26(41,veci);temp.push_back(pp26);else if(veci0<='9'&&veci0>='0')pair<

28、int,string> pp24(10,veci);感謝下載載精品temp.push_back(pp24);elsepair<int,string> pp25(10,veci);temp.push_back(pp25);else if(veci0<='9'&&veci0>='0')pair<int,string> pp23(3,veci);temp.push_back(pp23);else if(IsKey(veci)if(veci="main")pair<int,string> pp15(1,veci);temp.push_back(pp15);if(veci="int")感謝下載載精品pair<int,string> pp16(2,veci);temp.push_back(pp16);if(vec