语言模型
语言模型
大纲 概述 参数估计 基本平滑算法 其它平滑算法
大纲 • 概述 • 参数估计 • 基本平滑算法 • 其它平滑算法
概述
概述
噪声通道模型 原型 0,1,1,10,1,0, 通道 0.1.10.0.1.1.0 输入 (增加噪声) 输出 模型:出错的概率 举例:p(01)=0.3,p(1|1)=0.7,p(10)=0.4, p(O0=0.6 任务是: 已知带有噪声的输出 想知道输入是什么(也称为: Decoding)
噪声通道模型 • 原型 • 模型：出错的概率 • 举例：p(0|1)=0.3, p(1|1)=0.7, p(1|0)=0.4, p(0|0)=0.6 • 任务是： – 已知带有噪声的输出 – 想知道输入是什么（也称为：Decoding) 通道 （增加噪声） 0,1,1,1,0,1,0,1 0,1,1,0,0,1,1,0 输入 输出
噪声通道的应用 ·OCR 文本→打印(引入噪声,扫描→图像 手写识别 -文本→神经肌肉(引入噪声扫描→图像 语音识别 文本→朗读(引入噪声)→声学波形 机器翻译 目标语言→翻译(引入噪声)→源语言 其它:词性标注 词性序列→选择词形→文本
噪声通道的应用 • OCR – 文本→打印(引入噪声), 扫描→图像 • 手写识别 – 文本→神经肌肉(引入噪声), 扫描→图像 • 语音识别 – 文本→朗读(引入噪声) →声学波形 • 机器翻译 – 目标语言→翻译(引入噪声) →源语言 • 其它：词性标注 – 词性序列→选择词形→文本