任务1:计算观察序列的概率
任务1：计算观察序列的概率
计算观察序列的概率 前提:HMM模型的参数已经训练完毕 想知道:根据该模型输出某一个观察序 列的概率是多少 ·应用:基于类的语言模型,将词进行归 类,变计算词与词之间的转移概率为类 与类之间的转移概率,由于类的数量比 词少得多,因此一定程度避免了数据稀 疏问题
计算观察序列的概率 • 前提：HMM模型的参数已经训练完毕 • 想知道：根据该模型输出某一个观察序 列的概率是多少 • 应用：基于类的语言模型，将词进行归 类，变计算词与词之间的转移概率为类 与类之间的转移概率，由于类的数量比 词少得多，因此一定程度避免了数据稀 疏问题
Trellis or lattice(格) HMM T rellis time/position t 34 CA “ rollout 41)=0 (te)=6×8x1+ Y trellis state: (HMM state, position) ∞0=1a(A1)=6c①,2)=58(,3)=S8 each state: holds one number (prob: c a(C,1)= probability or Y: 2c in the last state
Trellis or Lattice(栅格)
发射概率为1的情况 Y= toe 22 ·P(Y)=0.6×0.88×1+0.4×0.1×1=0.568 position/stage position/stage last position/stage 2 c=1 =6 c=568 568 P(Y)=.568 i+1-y2
发射概率为1的情况 • Y=“toe” • P(Y)=0.6×0.88×1+0.4×0.1×1=0.568
算法描述 从初始状态开始扩展 在时间点t展得到的状态必须能够产生与观 察序列在时刻相同的输出 比如在t=1时,观察序列输出“t,因此只有状态A 和C得到了扩展 在t+1时刻,只能对在时刻保留下来的状态节 点进行扩展 比如在t=2时,只能对t=1时刻的A和C两个状态进 行扩展 ·每条路径上的概率做累乘,不同路径的概率 做累加 直到观察序列全部考察完毕,算法结束
算法描述 • 从初始状态开始扩展 • 在时间点t扩展得到的状态必须能够产生与观 察序列在t时刻相同的输出 – 比如在t=1时，观察序列输出‘t’，因此只有状态A 和C得到了扩展 • 在t+1时刻，只能对在t时刻保留下来的状态节 点进行扩展 – 比如在t=2时，只能对t=1时刻的A和C两个状态进 行扩展 • 每条路径上的概率做累乘，不同路径的概率 做累加 • 直到观察序列全部考察完毕，算法结束