词法分析器实验报告.docx

词法分析器实验报告.docx

《词法分析器实验报告.docx》由会员分享，可在线阅读，更多相关《词法分析器实验报告.docx（13页珍藏版）》请在冰点文库上搜索。

词法分析器实验报告

词法分析器设计

一、实验目的：

对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。

利用该词法分析器完成对源程序字符串的词法分析。

输出形式是源程序的单词符号二元式的代码，并保存到文件中。

二、实验内容：

1.设计原理

词法分析的任务：

从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。

理论基础：

有限自动机、正规文法、正规式

词法分析器（LexicalAnalyzer）又称扫描器（Scanner）：

执行词法分析的程序

2.词法分析器的功能和输出形式

功能:

输入源程序、输出单词符号

程序语言的单词符号一般分为以下五种：

关键字、标识符、常数、运算符,界符

3.输出的单词符号的表示形式:

单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

4.词法分析器的结构

5.状态转换图实现

三、程序设计

1．总体模块设计

/*用来存储目标文件名*/

stringfile_name;

/*提取文本文件中的信息。

*/

stringGetText（）;

/*获得一个单词符号,从位置i开始查找。

并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。

*/

stringGetWord（stringstr,inti,int&j）;

/*这个函数用来除去字符串中连续的空格和换行

intDeleteNull（stringstr,inti）;

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

boolIsBoundary（stringstr,inti）;

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

boolIsOperation（stringstr,inti）;

/*此函数将一个pair数组输出到一个文件中*/

voidOutFile（vector>v）;

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector>analyst（vectorvec）;

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

boolIsKey（stringstr）;

2．各模块设计

（1）.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；

（2）.定义相关的变量和数据结构。

关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。

如能查到匹配的单词，则该单词为关键字，否则为一般标识符。

关键字表为一个字符串数组，其描述如下：

charKEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；

用以存放单词符号二元式的数据结构可如下定义：

classWord_Analyzer

{

public:

charContent[MAXLENGTH];

intval;

voidprint（）;

};

（3）.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；

（4）.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。

若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。

四、程序代码

#include

#include

#include

#include

usingnamespacestd;

/*用来存储目标文件名*/

stringfile_name;

/*提取文本文件中的信息。

*/

stringGetText（）;

/*获得一个单词符号,从位置i开始查找。

　　irst<<",\""<"<

cout<<"<"<"<

}

outfile<<"\n\n*********************************\n";

（）;

return;

}

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

boolIsKey（stringstr）

{

stringp[7]={"main","int","char","if","else","for","while"};

vectorppp（p,p+7）;

intu;

for（u=0;u<（）;u++）

if（!

（ppp[u]））

returntrue;

returnfalse;

}

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector>analyst（vectorvec）

{

vector>temp;

inti;

for（i=0;i<（）;i++）

{

if（vec[i].size（）==1）

{

if（vec[i]==">"&&vec[i+1]=="="）

{

stringjk=vec[i];

（vec[++i],0,1）;

pairpp（37,jk）;

（pp）;

continue;

}

if（vec[i]=="<"&&vec[i+1]=="="）

{

stringjk=vec[i];

（vec[++i],0,1）;

pairpp（38,jk）;

（pp）;

continue;

}

if（vec[i]=="="&&vec[i+1]=="="）

{

stringjk=vec[i];

（vec[++i],0,1）;

pairpp（39,jk）;

（pp）;

continue;

}

if（vec[i]=="!

"&&vec[i+1]=="="）

{

stringjk=vec[i];

（vec[++i],0,1）;

pairpp（40,jk）;

（pp）;

continue;

}

if（vec[i]=="&"&&vec[i+1]=="&"）

{

stringjk=vec[i];

（vec[++i],0,1）;

pairpp（42,jk）;

（pp）;

continue;

}

if（vec[i]=="|"&&vec[i+1]=="|"）

{

stringjk=vec[i];

（vec[++i],0,1）;

pairpp（43,jk）;

（pp）;

continue;

}

if（IsBoundary（vec[i],0））

{

if（vec[i]==","）

{

pairpp1（32,vec[i]）;

（pp1）;

}

if（vec[i]==";"）

{

pairpp2（34,vec[i]）;

（pp2）;

}

if（vec[i]=="{"）

{

pairpp3（30,vec[i]）;

（pp3）;

}

if（vec[i]=="}"）

{

pairpp4（31,vec[i]）;

（pp4）;

}

if（vec[i]=="（"）

{

pairpp5（26,vec[i]）;

（pp5）;

}

if（vec[i]=="）"）

{

pairpp6（27,vec[i]）;

（pp6）;

}

if（vec[i]==":

"）

{

pairpp7（33,vec[i]）;

（pp7）;

}

}

elseif（IsOperation（vec[i],0））

{

if（vec[i]=="+"）

{

pairpp8（22,vec[i]）;

（pp8）;

}

if（vec[i]=="-"）

{

pairpp9（23,vec[i]）;

（pp9）;

}

if（vec[i]=="*"）

{

pairpp10（24,vec[i]）;

（pp10）;

}

if（vec[i]=="/"）

{

pairpp11（25,vec[i]）;

（pp11）;

}

if（vec[i]=="="）

{

pairpp12（21,vec[i]）;

（pp12）;

}

if（vec[i]==">"）

{

pairpp13（35,vec[i]）;

（pp13）;

}

if（vec[i]=="<"）

{

pairpp14（36,vec[i]）;

（pp14）;

}

if（vec[i]=="&"）

{

pairpp26（41,vec[i]）;

（pp26）;

}

}

elseif（vec[i][0]<='9'&&vec[i][0]>='0'）

{

pairpp24（10,vec[i]）;

（pp24）;

}

else

{

pairpp25（10,vec[i]）;

（pp25）;

}

}

elseif（vec[i][0]<='9'&&vec[i][0]>='0'）

{

pairpp23（3,vec[i]）;

（pp23）;

}

elseif（IsKey（vec[i]））

{

if（vec[i]=="main"）

{

pairpp15（1,vec[i]）;

（pp15）;

}

if（vec[i]=="int"）

{

pairpp16（2,vec[i]）;

（pp16）;

}

if（vec[i]=="char"）

{

pairpp17（3,vec[i]）;

（pp17）;

}

if（vec[i]=="else"）

{

pairpp18（4,vec[i]）;

（pp18）;

}

if（vec[i]=="if"）

{

pairpp19（5,vec[i]）;

（pp19）;

}

if（vec[i]=="for"）

{

pairpp20（6,vec[i]）;

（pp20）;

}

if（vec[i]=="while"）

{

pairpp21（7,vec[i]）;

（pp21）;

}

}

else

{

pairpp22（10,vec[i]）;

（pp22）;

}

}

returntemp;

}

/*finished*/

五、运行调试

六、实验心得

该词法分析器功能良好，可以完成预定的要求。

此次实验让我了解了如何设计、编制并调试词法分析程序，并加深了我对词法分析器原理的理解；熟悉了直接构造词法分析器的方法和相关原理，并学会使用c语言直接编写词法分析器；同时更熟练的掌握用c语言编写程序，实现一定的实际功能。

通过这次实验，我对词法分析器有了进一步的了解，把理论知识应用于实验中。

也让我重新熟悉了C语言的相关内容，加深了对C语言知识的深化和用途的理解。

通过这次语义分析的实验,我对高级语言的学习有了更深的认识，了解得更透彻。

同时我了解了高级语言转化为目标代码或汇编指令的过程,。

对今后的学习将起很大的作用,对以后的编程有很大的帮助.本次实验虽然只是完成了一个简单的程序，并且程序的主要框架课本上有给出，但在组织程序结构和深入了解上学到了很多，加深了对编译原理的理解,掌握乐编译程序的实现方法和技术。

巩固了前面所学的知识。