第三章词法分析 本章将讨纶祠法分析程序的計原则,单 词的描述技术,别机制及词法分析程戽 的自动构造原理。 3.1词法分析程序 ●3.2正规表达式与正规集(正规语言) 3.3有穷自动机 34词法分析程序的自动构造
本章将讨论词法分析程序的设计原则，单 词的描述技术，识别机制及词法分析程序 的自动构造原理。 3.1 词法分析程序 3.2 正规表达式与正规集（正规语言） 3.3 有穷自动机 3.4 词法分析程序的自动构造 第三章 词法分析
本章重点 ●·单词的描述工具 ·单词的识别系统 ·设计和实现词法分析程序 首先需要描述和刻画程序设计语言中的原子 单位—单词,其次需要识别单词和执行某 些相关的动作 描述程序设计语言的词法的机制是正则表达 式,识别机制是有穷状态自动机
本章重点 • 单词的描述工具 • 单词的识别系统 • 设计和实现词法分析程序 – 首先需要描述和刻画程序设计语言中的原子 单位——单词，其次需要识别单词和执行某 些相关的动作。 – 描述程序设计语言的词法的机制是正则表达 式，识别机制是有穷状态自动机
回顺什麽是词法分析程序 实现词法分析( lexical analysis)的程序 逐个读入源程序字符并按照构词规则切分成 系列单词。单词是语言中具有独立意 义的最小单位,包括保留字、标识符、运算 符、标点符号和常量等。 词法分析是编译过程中的一个阶段,在语法 分析前进行。也可以和语法分析结合在一起 作为一遍,由语法分析程序调用词法分析程 序来获得当前单词供语法分析使用
回顾 什麽是词法分析程序 实现词法分析（lexical analysis）的程序 – 逐个读入源程序字符并按照构词规则切分成 一系列单词。 单词是语言中具有独立意 义的最小单位，包括保留字、标识符、运算 符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法 分析前进行 。也可以和语法分析结合在一起 作为一遍，由语法分析程序调用词法分析程 序来获得当前单词供语法分析使用
词法分析程序和语法分析程序的关系 Token 源程序匚心词法分析程序二语法分析程序 ret tokeny
词法分析程序和语法分析程序的关系 源程序 词法分析程序 语法分析程序 Token get token …
词法分析程序的主要任务: 读源程序,产生单词符号 词法分析程序的其他任务: 滤掉空格,跳过注释、换行符 追踪换行标志,复制出错源程序, 宏展开
词法分析程序的主要任务： – 读源程序，产生单词符号 词法分析程序的其他任务： – 滤掉空格，跳过注释、换行符 – 追踪换行标志，复制出错源程序， – 宏展开，……