第二章词法分析 记号(token) 源程序 词法分析器 语法分析器 取下一个记号 符号表 本章内容 词法分析器：把构成源程序的字符流翻译成 记号流，还完成和用户接口的一些任务 围绕词法分析器的自动生成展开 -介绍正规式、状态转换图和有限自动机概念
第二章 词法分析 本章内容 – 词法分析器：把构成源程序的字符流翻译成 记号流，还完成和用户接口的一些任务 – 围绕词法分析器的自动生成展开 – 介绍正规式、状态转换图和有限自动机概念 词法分析器 语法分析器 符号表 记号(token) 取下一个记号 源程序
2.1词法记号及属性 2.1.1词法记号、模式、词法单元 记号名 词法单元例举 模式的非形式描述 f f 字符i,f for for 字符f,0,r relation <,<=,=)。 <或<=或=或 id sum, count,D5 由字母开头的字母数字串 number 3.1,10,2.8E12 任何数值常数 literal “seg.error” 引号“和”之间任意不含 引号本身的字符串
2.1 词法记号及属性 2.1.1 词法记号、模式、词法单元 记号名 词法单元例举 模式的非形式描述 if if 字符i, f for for 字符f, o, r relation < , <= , = , … < 或 <= 或 = 或 … id sum, count, D5 由字母开头的字母数字串 number 3.1, 10, 2.8 E12 任何数值常数 literal “seg. error” 引号“和”之间任意不含 引号本身的字符串
2.1词法记号及属性 。历史上词法定义中的一些问题 忽略空格带来的困难 D08I=3.75 等同于 D08I=3.75 D08I=3,75 -关键字不保留 IF THENTHEN THEN=ELSE:ELSE 关键字、保留字和标准标识符的区别 保留字是语言预先确定了含义的词法单元 标准标识符也是预先确定了含义的标识符，但程 序可以重新声明它的含义
2.1 词法记号及属性 • 历史上词法定义中的一些问题 –忽略空格带来的困难 DO 8 I = 3. 75 等同于 DO8I = 3. 75 DO 8 I = 3, 75 – 关键字不保留 IF THEN THEN THEN=ELSE；ELSE … • 关键字、保留字和标准标识符的区别 –保留字是语言预先确定了含义的词法单元 – 标准标识符也是预先确定了含义的标识符，但程 序可以重新声明它的含义
2.1词法记号及属性 2.1.2词法记号的属性 position=initial+rate*60的记号和属性值： id,指向符号表中position条目的指针) (assign_op〉 id,指向符号表中initial条目的指针》 (add op) id,指向符号表中rate条目的指针)》 (mul_op》) (number,整数值60〉
2.1 词法记号及属性 2.1.2 词法记号的属性 position = initial + rate 60的记号和属性值： id，指向符号表中position条目的指针 assign _ op id，指向符号表中initial条目的指针 add_op id，指向符号表中rate条目的指针 mul_ op number，整数值60
2.1词法记号及属性 2.1.3词法错误 词法分析器对源程序采取非常局部的观点 例：难以发现下面的错误 fi (a ==f(x))... 在实数是“数字串数字串”格式下，可以发现下 面的错误 123.x 紧急方式的错误恢复 删掉当前若干个字符，直至能读出正确的记号 错误修补 进行增、删、替换和交换字符的尝试
2.1 词法记号及属性 2.1.3 词法错误 –词法分析器对源程序采取非常局部的观点 –例：难以发现下面的错误 fi (a == f (x) ) … – 在实数是“数字串.数字串”格式下，可以发现下 面的错误 123.x –紧急方式的错误恢复 删掉当前若干个字符，直至能读出正确的记号 – 错误修补 进行增、删、替换和交换字符的尝试