第三章词法分析 本章将对论词法分析程序的没针原则，单 词的描述技术，温别机制及词法分析程序 的百动构造原理。 3.1词法分析程序 3.2正规表达式与正规集（正规语言） 3.3有穷自动机 3.4词法分析程序的自动构造
本章将讨论词法分析程序的设计原则，单 词的描述技术，识别机制及词法分析程序 的自动构造原理。 3.1 词法分析程序 3.2 正规表达式与正规集（正规语言） 3.3 有穷自动机 3.4 词法分析程序的自动构造 第三章 词法分析
本章重点 单词的描述工具 单词的识别系统 设计和实现词法分析程序 首先需要描述和刻画程序设计语言中的原子 单位一单词，其次需要识别单词和执行某 些相关的动作。 描述程序设计语言的词法的机制是正则表达 式，识别机制是有穷状态自动机
本章重点 • 单词的描述工具 • 单词的识别系统 • 设计和实现词法分析程序 – 首先需要描述和刻画程序设计语言中的原子 单位——单词，其次需要识别单词和执行某 些相关的动作。 – 描述程序设计语言的词法的机制是正则表达 式，识别机制是有穷状态自动机
颜什麽是词法分析程序 实现词法分析(lexical analysis)的程序 逐个读入源程序字符并按照构词规则切分成 一系列单词。 单词是语言中具有独立意 义的最小单位，包括保留字、标识符、运算 符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法 分析前进行。也可以和语法分析结合在一起 作为一遍，由语法分析程序调用词法分析程 序来获得当前单词供语法分析使用
回顾 什麽是词法分析程序 实现词法分析（lexical analysis）的程序 – 逐个读入源程序字符并按照构词规则切分成 一系列单词。 单词是语言中具有独立意 义的最小单位，包括保留字、标识符、运算 符、标点符号和常量等。 词法分析是编译过程中的一个阶段，在语法 分析前进行 。也可以和语法分析结合在一起 作为一遍，由语法分析程序调用词法分析程 序来获得当前单词供语法分析使用
词法分析程序和语法分析程序的关系 Token 源程序 词法分析程序 语法分析程序 get token
词法分析程序和语法分析程序的关系 源程序 词法分析程序 语法分析程序 Token get token …
词法分析程序的主要任务： 读源程序，产生单词符号 词法分析程序的其他任务： 滤掉空格，跳过注释、换行符 追踪换行标志，复制出错源程序， 宏展开，……
词法分析程序的主要任务： – 读源程序，产生单词符号 词法分析程序的其他任务： – 滤掉空格，跳过注释、换行符 – 追踪换行标志，复制出错源程序， – 宏展开，……