例4-2：下述C+代码段：whi1e（i>=j)i 一一； 经词法分析器处理以后，它将被转换为如下的单词符号串 while,) (（,) (id,指向i的符号表指针) (>=,-) (id,指向j的符号表指针) (),-) (id,指向i的符号表指针) (--, (；
例4-2 ：下述C++代码段：while ( i >= j ) i - -； 经词法分析器处理以后，它将被转换为如下的单词符号串 ( while ，_ ) ( ( ，_ ) ( id ，指向i的符号表指针 ) ( >= ，_ ) ( id ，指向j的符号表指针 ) ( ) ，_ ) ( id ，指向i的符号表指针 ) ( - - ，_ ) ( ； ，_ )
4.1.2词法分析与语法分析的关系 1、把词法分析 析中脱离出来的优点： •使编译程序的结 外存 清晰和条理化。 ·词法分析和语法 同，词法分析可以使用正则文法自动构造 scanner简单， 源 单 •有利于提清 语法 程 符号 scanner 源程序 ·可以改善分析的细节 迟王丁 T后法分析配儿个scanner, 把不同 的输入变成一种内部表示。 2、把词法分析佐斗油立 的一遍 scanner当作一 sC2ner作为谭灌析 把scanner当作子程序。 scanner作为一遍
1、把词法分析从语法分析中脱离出来的优点： •使编译程序的结构更加简洁、清晰和条理化。 •词法分析和语法分析方法不同，词法分析可以使用正则文法自动构造 scanner简单。 •有利于提高语法分析的效率。 •可以改善词法分析的细节，甚至于一个语法分析配几个scanner，把不同 的输入变成一种内部表示。 2、把词法分析作为独立的一遍 •scanner当作一遍。 •把scanner当作子程序。 外存 scanner 语法分析 源 程 序 单 词 符 号 scanner作为一遍 语法 分析 scanner 源程序 scanner作为子程序
4.1.3词法 器的设计 设计前提： 输入 ● 把scanne 预处理 输入缓冲区 立的季程！ 词法分析器的任务为输出单词符。 子程序 预处理部 扫描缓冲区 ·必要性，编辑性字符如空白符、回车符等，除了出现在文字和 扫描器 数中以外，在别处出现都没有意义。 件 扫 险无用字符。 语法分析器 器 ·实现西 预处埋子程序。 图4.1词法分析器
设计前提： • 把scanner作为一个独立的子程序； • 词法分析器的任务为输出单词符号。 •必要性：编辑性字符如空白符、回车符等，除了出现在文字和 常数中以外，在别处出现都没有意义。 •功 能： 剔除无用字符。 •实 现： 预处理子程序。 输入 列表 预处理 子程序 扫描器 扫描缓冲区 输入缓冲区 单词符号 图4.1 词法分析器 语法分析器 预 处 理 部 分 扫 描 器
若 扫描缓冲区的结构： 缓冲区大小：120个字符。 采用两个指示器：起点指示器、搜索指示器。 两个互补区。 T0100 IF (5.EQ.M)GO T0100 IF (5.EQ.M)GO 起点指示器搜索指读指示器搜索指示器 搜索指示器 输入缓神屡 起点指示器 120个字符 两个互补输入缓冲区
若识别输入语句 IF (5.EQ.M) GOTO 100，若缓冲区情况如下所示： IF (5.EQ.M) GO 起点指示器 搜索指示器 输入缓冲区 TO 100 IF (5.EQ.M) GO 起点指示器 搜索指示器 输入缓冲区 TO 100 IF (5.EQ.M) GO 搜索指示器 起点指示器 两 个 互 补 输 入 缓 冲 区 120个字符 扫描缓冲区的结构： • 缓冲区大小：120个字符。 • 采用两个指示器：起点指示器、搜索指示器。 • 两个互补区
2。单词符号的识别 超前搜索 单词符号识别的简单方法：超前搜索。 关键字识别： 例如：在标准FORTRAN中 1、D099K=1,10 其中的D0、 2、IF(5.EQ.MW）I=10 IF为关键字 3、D099K=1.10 其中的D0、 IF为标识符 4、IF(5)=55 的一部分
单词符号识别的简单方法：超前搜索。 关键字识别： 例如：在标准FORTRAN中 1、DO99K = 1,10 2、IF(5.EQ.M)I = 10 3、DO99K = 1.10 4、IF(5) = 55 其中的DO、 IF为关键字 其中的DO、 IF为标识符 的一部分