词法分析器实验报告精选文档.docx
《词法分析器实验报告精选文档.docx》由会员分享，可在线阅读，更多相关《词法分析器实验报告精选文档.docx（20页珍藏版）》请在冰点文库上搜索。
词法分析器实验报告精选文档
词法分析器实验报告
词法分析器设计
一、实验目的：
对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法.利用该词法分析器完成对源程序字符串的词法分析.输出形式是源程序的单词符号二元式的代码，并保存到文件中。
二、实验内容:
1。
设计原理
词法分析的任务：
从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。
理论基础：
有限自动机、正规文法、正规式
词法分析器（LexicalAnalyzer）又称扫描器（Scanner）：
执行词法分析的程序
2。
词法分析器的功能和输出形式
功能:
输入源程序、输出单词符号
程序语言的单词符号一般分为以下五种：
关键字、标识符、常数、运算符,界符
3.输出的单词符号的表示形式:
单词种别用整数编码,关键字一字一种,标识符统归为一种，常数一种，各种符号各一种。
4.词法分析器的结构
5。
状态转换图实现
三、程序设计
1．总体模块设计
/＊用来存储目标文件名*/
stringfile_name；
/＊提取文本文件中的信息。
*/
stringGetText（）;
/*获得一个单词符号，从位置i开始查找。
并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。
＊/
stringGetWord（stringstr,inti,int&j）；
/*这个函数用来除去字符串中连续的空格和换行
intDeleteNull（stringstr，inti）;
/＊判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/
boolIsBoundary（stringstr，inti）;
/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/
boolIsOperation（stringstr,inti）;
/*此函数将一个pair数组输出到一个文件中*/
voidOutFile（vector〉v）；
/＊此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/
vector〈pairanalyst（vectorvec）;
/*此函数判断传递的参数是否为关键字，是的话,返回真,反之返回假＊/
boolIsKey（stringstr）；
2．各模块设计
（1）。
首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；
（2）。
定义相关的变量和数据结构。
关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表）,当扫描程序识别出标识符时，查关键字表.如能查到匹配的单词，则该单词为关键字，否则为一般标识符。
关键字表为一个字符串数组，其描述如下：
charKEY_WORDS［7］=｛″main″，″int″，″char″，″if″,″else″，″for″,″while″}；
用以存放单词符号二元式的数据结构可如下定义：
classWord_Analyzer
｛
public：
charContent[MAXLENGTH］;
intval;
voidprint（）;
｝；
（3）。
按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；
（4）.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。
若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置,并跳过该字符重新开始识别单词符号。
四、程序代码
＃include〈iostream>
＃include#include
#includeusingnamespacestd；
/*用来存储目标文件名*/
stringfile_name；
/＊提取文本文件中的信息。
＊/
stringGetText（）；
/＊获得一个单词符号,从位置i开始查找。
//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。
＊/
stringGetWord（stringstr，inti，int＆j）；
/*这个函数用来除去字符串中连续的空格和换行
//第一个参数为目标字符串，第二个参数为开始位置
//返回值为连续的空格和换行后的第一个有效字符在字符串的位置＊/
intDeleteNull（stringstr,inti）；
/＊判断i当前所指的字符是否为一个分界符，是的话返回真，反之假＊/
boolIsBoundary（stringstr，inti）；
/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假＊/
boolIsOperation（stringstr，inti）;
/*此函数将一个pair数组输出到一个文件中＊/
voidOutFile（vector/*次函数将参数str,digit添加到temp中＊/
voidadd（stringstr，intdigit，vectortemp）;
/＊此函数接受一个字符串数组,对它进行词法分析，返回一个pair型数组＊/
vector〈pair〈int，string〉>analyst（vector〈string>vec）；
/＊此函数判断传递的参数是否为关键字，是的话,返回真，反之返回假*/
boolIsKey（stringstr）;
intmain（）
{
cout〈<"＊＊*＊＊***＊**＊**＊**＊*****＊*＊*＊＊＊＊＊＊*****＊*＊＊＊*＊＊**＊＊*＊*＊＊**\n"；
cout〈<"＊＊**＊＊＊＊*＊＊＊＊编译原理课程设计——词法编译器ver1.0*＊＊＊＊＊＊＊＊\n"；
cout〈〈"＊＊**＊*＊＊*＊***＊＊＊*＊*＊＊＊＊**＊＊＊＊**＊**＊＊*＊*＊＊＊＊＊＊**＊＊＊＊＊＊****\n”；
cout〈〈endl；
stringcom1=""；
stringcom2=”\n”;
stringfileline=GetText（）;
intbegin=0,end=0；
vectordo
｛
begin=DeleteNull（fileline，begin）；
stringnowString;
nowString=GetWord（fileline,begin,end）；
if（end==-1）
break；
if（nowString。
compare（com1）&&nowSpare（com2））
array.push_back（nowString）；
begin=end+1;
}while（true）;
vector〈pair>mid_result;
mid_result=analyst（array）;
OutFile（mid_result）；
cout<<"＊＊**＊＊**********＊**＊＊**＊**＊＊＊＊＊＊*＊*＊**＊＊*＊*＊**＊＊＊＊＊＊**＊*＊\n"；
cout<〈”＊程序已完成词法分析,分析结果已经存储在文件"〈!
！
*\n"；
cout〈<"＊*＊＊＊*＊**＊***＊***＊＊＊＊＊**＊＊*＊*＊*＊＊＊****＊＊＊*＊******＊＊*＊＊＊＊＊\n”;
cout<<”感谢使用，谢谢再见！
"〈〈endl；
system（"pause"）；
return0;
}
/*提取文本文件中的信息＊/
stringGetText（）
｛
stringfile_name1；
cout〈〈”请输入源文件名（包括路径和后缀名）：
”;
cin>〉file_name1；
ifstreaminfile（file_name1.c_str（），ios:
:
in）;
if（！
infile）
｛
cerr<<”无法打开文件!
"〈〈file_name1.c_str（）〈〈”！
!
!
”〈〈endl;
exit（—1）;
｝
cout<〈endl;
charf［1000];
infile.getline（f,1000，EOF）；
infile.close（）；
printf（f）;
cout<〈endl；
returnf;
}
/*获得一个单词符号,从位置i开始查找。
//并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。
＊/
stringGetWord（stringstr，inti，int＆j）
{
stringno_use（”（）｛｝，； \n+=*/-〈>\""）；
j=str。
find_first_of（no_use，i）;
if（j==—1）
return"";
if（i！
=j）
j-—;
returnstr。
substr（i，j-i+1）；
｝
/＊这个函数用来除去字符串中连续的空格和换行
//第一个参数为目标字符串，第二个参数为开始位置
//返回值为连续的空格和换行后的第一个有效字符在字符串的位置＊/
intDeleteNull（stringstr，inti）
{
for（;；i++）
if（str［i］!
=''＆＆str[i］！
='\n’）
returni;
}
/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/
boolIsBoundary（stringstr,inti）
｛
intt；
chararr[7］=｛’，’,’;’，'{',’｝’，’（’，'）’,’:
’};
for（t=0；t<7；t++）
if（str［i]==arr［t]）
returntrue;
returnfalse;
｝
/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假＊/
boolIsOperation（stringstr,inti）
｛
intt;
chararr［8］=｛'+’,'—’，'*'，’/’，'=','<’，'〉’,’&’};
for（t=0;t<8；t++）
if（str［i]==arr［t］）
returntrue；
returnfalse;
}
/＊此函数将一个个字符串数组输出到一个文件中＊/
voidOutFile（vector〈pair〈int，string>>v）
｛
cout〈〈"请输入目标文件名（包括路径和后缀名）:
";
cin>〉file_name；
ofstreamoutfile（file_name.c_str（）,ios：
:
out）；
if（！
outfile）
{
cerr<<"无法打开文件！
”〈!
!
”<〈endl；
exit（—1）；
}
cout〈inti;
for（i=0;i｛
outfile〈<"<"<first<<",\""<〈v［i]。
second〈<”\”>"〈〈endl；
cout〈〈"<"〈first〈〈"，\""<〈v[i］。
second<<"\”>"<}
outfile〈〈”\n\n*＊*＊**＊**＊*＊***＊*＊＊＊＊****＊***＊＊**\n”;
outfile。
close（）；
return;
｝
/＊此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假＊/
boolIsKey（stringstr）
{
stringp[7]=｛"main”,"int”,"char”,”if”，"else”,"for”,”while”｝;
vectorppp（p，p+7）；
intu;
for（u=0；u〈ppp。
size（）;u++）
if（！
pare（ppp[u］））
returntrue;
returnfalse;
｝
/＊此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/
vector〈pairanalyst（vector〈string〉vec）
{
vectorinti；
for（i=0；i｛
if（vec[i].size（）==1）
{
if（vec［i］==">"＆&vec[i+1]==”="）
{
stringjk=vec[i］;
jk。
append（vec［++i］，0,1）;
pairpp（37,jk）;
temp.push_back（pp）；
continue;
}
if（vec［i］==”〈”＆＆vec[i+1]=="="）
｛
stringjk=vec［i］;
jk.append（vec［++i］，0，1）；
pairtemp.push_back（pp）;
continue；
｝
if（vec[i］=="="＆＆vec[i+1］=="="）
｛
stringjk=vec[i］;
jk。
append（vec［++i］，0,1）;
pair〈int,string〉pp（39,jk）;
temp.push_back（pp）；
continue;
}
if（vec［i］=="!
”&＆vec[i+1］=="="）
｛
stringjk=vec[i］;
jk。
append（vec[++i],0,1）;
pair〈int,string>pp（40,jk）;
temp。
push_back（pp）;
continue;
}
if（vec［i]==”＆”＆&vec［i+1］=="&”）
｛
stringjk=vec［i］；
jk.append（vec［++i]，0，1）；
pair〈int，string>pp（42，jk）;
temp.push_back（pp）；
continue；
}
if（vec[i］=="｜"＆＆vec［i+1］=="|"）
｛
stringjk=vec[i];
jk.append（vec［++i］，0,1）；
pairpp（43,jk）；
temp。
push_back（pp）;
continue;
｝
if（IsBoundary（vec[i]，0））
｛
if（vec[i］=="，”）
｛
pairpp1（32，vec[i]）；
temp.push_back（pp1）;
}
if（vec［i]==”；”）
｛
pairtemp。
push_back（pp2）；
}
if（vec［i]==”｛”）
｛
pair〈int,string>pp3（30，vec［i]）；
temp。
push_back（pp3）；
｝
if（vec[i]==”｝”）
{
pairtemp。
push_back（pp4）;
}
if（vec[i]==”（”）
｛
pairpp5（26,vec[i］）;
temp。
push_back（pp5）;
｝
if（vec[i]==”）"）
｛
pair〈int,string〉pp6（27，vec[i]）；
temp。
push_back（pp6）;
}
if（vec[i]==”:
"）
{
pairpp7（33，vec［i］）;
temp。
push_back（pp7）;
｝
}
elseif（IsOperation（vec[i］，0））
｛
if（vec［i］==”+"）
{
pair〈int,string>pp8（22,vec［i］）；
temp。
push_back（pp8）;
｝
if（vec[i]==”—”）
{
pair〈int，string>pp9（23，vec［i]）；
temp。
push_back（pp9）；
}
if（vec［i]==”*”）
{
pair〈int，string>pp10（24，vec[i］）；
temp。
push_back（pp10）;
｝
if（vec[i]=="/”）
｛
pair〈int,string〉pp11（25,vec[i]）;
temp.push_back（pp11）;
}
if（vec［i］=="=”）
{
pair〈int，string>pp12（21，vec［i]）;
temp.push_back（pp12）；
｝
if（vec[i]==">”）
{
pair〈int,string>pp13（35，vec［i］）；
temp.push_back（pp13）；
}
if（vec［i］=="<”）
{
pairtemp.push_back（pp14）；
｝
if（vec［i］==”＆”）
{
pair〈int，string〉pp26（41,vec[i]）;
temp.push_back（pp26）；
}
｝
elseif（vec［i][0]<='9'＆&vec[i]［0］〉='0’）
{
pairtemp.push_back（pp24）;
}
else
｛
pairtemp.push_back（pp25）;
}
｝
elseif（vec［i］［0］〈=’9’＆＆vec［i]［0］>='0'）
｛
pairpp23（3,vec[i]）;
temp.push_back（pp23）；
｝
elseif（IsKey（vec［i]））
｛
if（vec[i］==”main"）
{
pair〈int,string>pp15（1，vec[i]）；
temp.push_back（pp15）;
｝
if（vec［i]=="int”）
｛
pair〈int,string〉pp16（2，vec［i］）;
temp。
push_back（pp16）;
｝
if（vec[i]=="char”）
｛
pair〈int，string〉pp17（3,vec[i］）；
temp。
push_back（pp17）；
}
if（vec[i]==”else”）
｛
pair〈int，string>pp18（4,vec[i］）；
temp。
push_back（pp18）;
}
if（vec［i］=="if"）
{
pairpp19（5，vec［i]）;
temp。
push_back（pp19）;
｝
if（vec［i]=="for”）
{
pairtemp.push_back（pp20）;
}
if（vec[i]=="while"）
｛
pairpp21（7,vec［i］）；
temp.push_back（pp21）；
｝
}
else
{
pair〈int,string〉pp22（10,vec［i］）;
temp。
push_back（pp22）;
}
}
returntemp;
}
/＊finished＊/
五、运行调试
六、实验心得
该词法分析器功能良好，可以完成预定的要求.此次实验让我了解了如何设计、编制并调试词法分析程序，并加深了我对词法分析器原理的理解；熟悉了直接构造词法分析器的方法和相关原理,并学会使用c语言直接编写词法分析器；同时更熟练的掌握用c语言编写程序，实现一定的实际功能。
通过这次实验，我对词法分析器有了进一步的了解,把理论知识应用于实验中。
也让我重新熟悉了C语言的相关内容，加深了对C语言知识的深化和用途的理解。
通过这次语义分析的实验,我对高级语言的学习有了更深的认识，了解得更透彻。
同时我了解了高级语言转化为目标代码或汇编指令的过程,.对今后的学习将起很大的作用,对以后的编程有很大的帮助。
本次实验虽然只是完成了一个简单的程序，并且程序的主要框架课本上有给出，但在组织程序结构和深入了解上学到了很多，加深了对编译原理的理解,掌握乐编译程序的实现方法和技术。
巩固了前面所学的知识。
升级会员 